无忧启动论坛

标题: 请批处理高手帮我做一个文本中关于内容统计的批，谢！ [打印本页]

作者: 老毛桃 时间: 2006-11-23 22:25
标题: 请批处理高手帮我做一个文本中关于内容统计的批，谢！
是这样的，我有一个记录文档，比如名称为 SearchNet.txt，里面内容如下：

复制代码

里面的全是数字，最小值为 1，最大值为 255，我现在要做一个批处理，使我能够分析这个 SearchNet.TXT 中从 1 到 255 的每一个数字出现的次数，出现次数为 0 的，当然不要统计啦。要求得到的统计文档格式如下：

Counter.txt

2 2
3 1
4 3
5 7
7 5
8 1
9 4
10 2
11 5
...

复制代码

为此，我自己也写了个批处理，但是个人感觉执行效率不够高，才 400 多个数据，分析一下居然消耗了整整 100 秒时间（我的机器为 PIII 800MHz + 256MB PC133 SDRAM），请高手帮我优化一下，谢谢！

Counter.CMD

@echo off
SETLOCAL ENABLEDELAYEDEXPANSION
set tmpfile=search.tmp
set resultfile=counter.txt
if exist %tmpfile% del %tmpfile% /q
if exist %resultfile% del %resultfile% /q
for /f %%i in ('type SearchNET.TXT') do echo a%%ia>>%tmpfile%
for /l %%i in (1,1,255) do (
for /f "tokens=2* delims=::" %%I in ('find /c ^"a%%ia^" %tmpfile%^|find /v ^": 0^"') do (
set /p="%%i%%I">>%resultfile%<nul
echo.>>%resultfile%
)
)
REM del %tmpfile%
ENDLOCAL

复制代码

作者: namejm 时间: 2006-11-23 23:45
　　统计的结果中，第一列数字要按照从小到大的顺序显示吗？

作者: namejm 时间: 2006-11-24 00:10
　　若第一列数字无须按照从小到大的顺序排列，则可以使用如下代码：

@echo off
set num=-1
sort<SearchNet.TXT>tmp.txt
cd.>result.txt
setlocal enabledelayedexpansion
for /f %%i in (tmp.txt) do (
set /a num+=1
set second=!first!
set first=%%i
if not "!second!"=="" if !second! neq !first! (>>result.txt echo !second! !num!&set num=0)
)
>>result.txt echo %first% %num%
del tmp.txt
start result.txt

复制代码

作者: namejm 时间: 2006-11-24 02:31
　　若要对第一列数作升序处理，则可对顶楼的代码修改如下(经过测试，与顶楼的代码相比，以下代码效率有较大提高，但效率最高的是3F的代码)：

@echo off
cd.>result.txt
setlocal enabledelayedexpansion
for /l %%i in (1,1,255) do (
for /f %%j in ('findstr "^%%i$" SearchNet.txt') do set /a num+=1
if not !num! equ 0 >>result.txt echo %%i !num!
set num=0
)
start result.txt

复制代码

[ 本帖最后由 namejm 于 2006-11-24 02:35 AM 编辑 ]

作者: 老毛桃 时间: 2006-11-24 09:43
呵呵，感谢感谢，测试了一下，我办公室电脑为 CD2.8GHz+512MB DDRII，我的代码耗时 24 秒，3F 的代码耗时不到 1 秒，4F 的耗时 14 秒。都比我的快得多。

因为原先不知道 findstr 中还有“$”这么个好咚咚，导致了先在原先的 SearchNet.txt 的每一行家上前后缀，耗去了部分时间，在 Count 的时候又不得不去掉它，效率大大降低了。

但如果我现在想按照里面每个数字出现的频率从高到低排序，又该怎样呢？嘿嘿，又给 Namejm 带来难题了。。。。

作者: namejm 时间: 2006-11-24 20:47
　　如果要按照每个数字出现的频率从高到低排序，则可在3F的基础上得到如下代码。这个代码会产生大量的临时文件，并且效率比较低下。请测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd.>tmp2.txt
cd.>tmp3.txt
cd.>result.txt
setlocal enabledelayedexpansion
for /f %%i in (tmp1.txt) do (
set /a num+=1
set second=!first!
set first=%%i
if not "!second!"=="" if !second! neq !first! (>>tmp2.txt echo !second! !num!&set num=0)
)
>>tmp2.txt echo %first% %num%
md tmp && pushd tmp
for /f "tokens=2" %%i in (..\tmp2.txt) do fsutil file createnew %%i %%i>nul
>..\tmp3.txt dir /o-s /b
for /f %%i in (..\tmp3.txt) do (
>>..\result.txt findstr " %%i$" ..\tmp2.txt
)
popd && rd /q /s tmp
del tmp1.txt tmp2.txt tmp3.txt
start result.txt

复制代码

作者: 老毛桃 时间: 2006-11-25 08:38

原帖由 namejm 于 2006-11-24 20:47 发表
　　如果要按照每个数字出现的频率从高到低排序，则可在3F的基础上得到如下代码。这个代码会产生大量的临时文件，并且效率比较低下。请测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd. ...

嘿嘿，高！不佩服不行了，好好学习一下。。。

作者: namejm 时间: 2006-11-25 12:34
　　对6F的代码做了一处改动，效率大为提高，请做对比测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd.>tmp2.txt
cd.>tmp3.txt
cd.>result.txt
setlocal enabledelayedexpansion
for /f %%i in (tmp1.txt) do (
set /a num+=1
set second=!first!
set first=%%i
if not "!second!"=="" if !second! neq !first! (>>tmp2.txt echo !second! !num!&set num=0)
)
>>tmp2.txt echo %first% %num%
md tmp && pushd tmp
for /f "tokens=2" %%i in (..\tmp2.txt) do (
cd.>%%i
for /l %%j in (1,1,%%i) do echo.>>%%i
)
>..\tmp3.txt dir /o-s /b
for /f %%i in (..\tmp3.txt) do (
>>..\result.txt findstr " %%i$" ..\tmp2.txt
)
popd && rd /q /s tmp
del tmp1.txt tmp2.txt tmp3.txt
start result.txt

复制代码

作者: 老毛桃 时间: 2006-11-25 13:23

原帖由 namejm 于 2006-11-25 12:34 发表
　　对6F的代码做了一处改动，效率大为提高，请做对比测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd.>tmp2.txt
cd.>tmp3.txt
cd.>result.txt
setlocal enabledelayedexpa ...

呵呵，厉害厉害啊！

for /f "tokens=2" %%i in (..\tmp2.txt) do fsutil file createnew %%i %%i>nul

复制代码

换成了

for /f "tokens=2" %%i in (..\tmp2.txt) do (
cd.>%%i
for /l %%j in (1,1,%%i) do echo.>>%%i
)

复制代码

处理时间由 5 秒变成了 2 秒，佩服啊！

真想给此帖加精，可惜楼主是个只有三脚猫功夫的毛桃！

作者: ccwan 时间: 2006-11-25 14:23
namejm真乃精英啊！强烈要求加精！

作者: namejm 时间: 2006-11-25 17:11

原帖由 老毛桃 于 2006-11-25 01:23 PM 发表

真想给此帖加精，可惜楼主是个只有三脚猫功夫的毛桃！

　　名利乃身外之物，加精的目的是能让更多的人来关注，若能让更多的人对DOS批处理感兴趣的话，也不枉我写这几段代码了，这个精华加在谁的名下也就显得不那么重要了。若够得上精华帖的标准，毛桃兄只管加成精华就是了；若够不上精华帖的标准，作为普通帖处理也可。

作者: 老毛桃 时间: 2006-11-25 19:04

原帖由 namejm 于 2006-11-25 17:11 发表

　　名利乃身外之物，加精的目的是能让更多的人来关注，若能让更多的人对DOS批处理感兴趣的话，也不枉我写这几段代码了，这个精华加在谁的名下也就显得不那么重要了。若够得上精华帖的标准，毛桃兄只管加成精华 ...

呵呵，的确是将批处理发挥到了极致，至少我是这么认为的，加精，算到 Namejm 兄的名下，哈哈！

收藏备忘，以后常来温习温习。

作者: namejm 时间: 2006-11-25 22:14

原帖由 老毛桃 于 2006-11-25 07:04 PM 发表

呵呵，的确是将批处理发挥到了极致，至少我是这么认为的，加精，算到 Namejm 兄的名下，哈哈！

收藏备忘，以后常来温习温习。

　　呵呵，6F代码不是我的原创，关键部分剽窃了DOS联盟里 3742668 的代码，不敢擅专。

作者: namejm 时间: 2006-11-29 13:50
　　关于统计字符出现次数，更精彩的批处理代码请参考这个帖子，真正的叫人大开眼界：http://www.cn-dos.net/forum/view ... id=Z6IHFV#pid155049

作者: 老毛桃 时间: 2006-11-29 15:54

原帖由 namejm 于 2006-11-29 13:50 发表
　　关于统计字符出现次数，更精彩的批处理代码请参考这个帖子，真正的叫人大开眼界：http://www.cn-dos.net/forum/view ... id=Z6IHFV#pid155049

呵呵，的确精彩，感谢 Namejm

作者: frice 时间: 2006-11-30 14:43
哦哟,这样也可以
真是高

作者: lijiehao 时间: 2006-12-15 23:23
高人啊！一个批处理居然发挥了这么大的作用

作者: bagpipe 时间: 2006-12-16 17:44
只做了统计出现的次数，没有排序....（试发帖)

@echo off&setlocal
set /a n=1
for /f %%a in ('type 1.txt^|sort') do (
call :pp %%a
)
:pp
if not defined bb goto b
if "%bb%"=="%1" (set /a n+=1) else (>>ko.txt echo %bb% %n%次&set /a n=1)
:b
set bb=%1
goto :eof

复制代码

作者: bagpipe 时间: 2006-12-16 20:47
粗略的写了一下排序

代码如下：

@echo off&setlocal enabledelayedexpansion
set a=[0-9]
for /l %%a in (1,1,3) do (
call :pp !a!
set a=!a![0-9]
)
goto c
:pp
for /f %%x in ('findstr "^%1$" aa.txt^|sort') do @echo %%x >>dd.txt
goto :eof
:c
set /a n=1
for /f %%a in ('type dd.txt') do (
call :pp %%a
)
:pp
if not defined bb goto b
if "%bb%"=="%1" (set /a n+=1) else (>>ko.txt echo %bb% %n%次&set /a n=1)
:b
set bb=%1
goto :eof

复制代码

作者: namejm 时间: 2006-12-26 20:48
　　bagpipe 兄18楼的代码同时保留上一行内容和本行内容的思路十分巧妙；for 语句后括号之后不马上跟跳出语句是个十分容易犯错的地方；不声明启用变量延迟功能可以兼容感叹号，扩大了字符的兼容范围；这段代码言简意赅，堪称经典。相信经过细节方面的改造之后，将会成为统计行内容重复次数的通用代码。

　　bagpipe 兄19楼的代码用 for /l 来控制每次 findstr 的字符长度，然后把同一长度的用 sort 来排序，从而突破了 sort 只能按字符位大小来排序这一限制，又是一个超级技巧，可以成为数字排序的一个经典思路。

　　对你的敬仰开始泛滥……

作者: ccwan 时间: 2006-12-27 10:30
一定要加精啊！便于大家学习。

作者: thinker1234 时间: 2006-12-28 11:44
哈
我不会

作者: GDH 时间: 2007-11-28 23:55
昏迷啊最近您对批处理做了基础的研究

没想到看到顶级水平的代码还是晕了头了。。。

作者: haiou327 时间: 2007-11-29 00:42
真乃高手云集啊！！！！！！！！！

作者: 都市浪子666 时间: 2008-1-15 23:35
偶是超级菜鸟。先收藏。日后慢慢研究了。
也不知道要过多少年才能研究得透。。。。55555555

作者: qjj1221 时间: 2008-4-12 15:20
高手中的高手佩服啊

作者: monkeyhero 时间: 2008-8-5 11:20
哇塞，全是高手啊，学习了

作者: yuzhe 时间: 2008-8-20 19:30
发现自己太渺小了...高人多.

作者: free123456 时间: 2008-10-23 17:43
注意：
３楼的代码有错误，在统计最后一个数字的个数时差一个，最后num+=1即可

[ 本帖最后由 free123456 于 2008-10-23 17:59 编辑 ]

欢迎光临无忧启动论坛 (http://wuyou.net./)