c - gawk和....之间的性能区别是什么？-6ren

c - gawk和....之间的性能区别是什么？

转载作者：太空狗更新时间：2023-10-29 14:53:15

25

4

Closed. This question needs to be more focused。它当前不接受答案。

想要改善这个问题吗？更新问题，使它仅关注 editing this post的一个问题。

已关闭6年。

Improve this question

已经讨论了这个问题 here on Meta，而我的 answer提供了指向测试系统的链接来回答这个问题。

由于性能原因，经常会出现关于是否使用gawk或mawk或C或其他某种语言的问题，因此让我们为平凡而又典型的awk程序创建一个规范的问题/答案。

这样的结果将是一个答案，它提供了对在简单输入文件上执行正则表达式匹配和字段拆分的基本文本处理任务的不同工具的性能的比较。如果用于该任务的工具X的速度是其他所有工具的两倍，那么这是有用的信息。如果所有工具花费的时间都差不多，那也是有用的信息。

这种方法的工作方式是，在接下来的几天中，许多人将提供“答案”(即要测试的程序)，然后一个人(志愿者？)将在一个平台上测试所有这些程序(或者少数人将进行测试)。他们平台上的一些子集，以便我们进行比较)，然后将所有结果收集到一个答案中。

给定此脚本创建的1000万行输入文件:

$ awk 'BEGIN{for (i=1;i<=10000000;i++) print (i%5?"miss":"hit"),i,"  third\t \tfourth"}' > file

$ wc -l file
10000000 file

$ head -10 file
miss 1   third          fourth
miss 2   third          fourth
miss 3   third          fourth
miss 4   third          fourth
hit 5   third           fourth
miss 6   third          fourth
miss 7   third          fourth
miss 8   third          fourth
miss 9   third          fourth
hit 10   third          fourth

并给出了这个awk脚本，该脚本会打印以“hit”开头并后面加上偶数的每行的第4个，第1个，然后第3个字段:

$ cat tst.awk
/hit [[:digit:]]*0 / { print $4, $1, $3 }

这是预期输出的前5行:

$ awk -f tst.awk file | head -5
fourth hit third
fourth hit third
fourth hit third
fourth hit third
fourth hit third

这是通过管道传输到第二个awk脚本以验证上面的主脚本实际上确实按预期运行时的结果:

$ awk -f tst.awk file |
awk '!seen[$0]++{unq++;r=$0} END{print ((unq==1) && (seen[r]==1000000) && (r=="fourth hit third")) ? "PASS" : "FAIL"}'
PASS

以下是在cygwin64上以bash 4.3.33运行的 gawk 4.1.1的第3次执行的计时结果:
$ time awk -f tst.awk file > /dev/null real 0m4.711s user 0m4.555s sys 0m0.108s

请注意，以上是删除缓存差异的第三次执行。

任何人都可以提供等效的C，perl，python，以及与此相关的任何代码:
$ cat tst.awk /hit [[:digit:]]*0 / { print $4, $1, $3 }

例如，在一行上找到那个REGEXP(我们不是在寻找其他需要正则表达式的解决方案)，在每个连续的空白序列处分割行，并打印第4个，第1个，第3个字段，并用一个空白字符？

如果是这样，我们可以在一个平台上测试它们，以查看/记录性能差异。

到目前为止，该代码做出了贡献:

AWK(可以针对gawk等进行测试，但是mawk，nawk以及其他可能需要[0-9]而不是[:digit:])
awk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file

的PHP
php -R 'if(preg_match("/hit \d*0 /", $argn)){$f=preg_split("/\s+/", $argn); echo $f[3]." ".$f[0]." ".$f[2];}' < file

shell
egrep 'hit [[:digit:]]*0 ' file | awk '{print $4, $1, $3}' grep --mmap -E "^hit [[:digit:]]*0 " file | awk '{print $4, $1, $3 }'

ruby
$ cat tst.rb File.open("file").readlines.each do |line| line.gsub(/(hit)\s[0-9]*0\s+(.*?)\s+(.*)/) { puts "#{$3} #{$1} #{$2}" } end $ ruby tst.rb

佩尔
$ cat tst.pl #!/usr/bin/perl -nl # A solution much like the Ruby one but with atomic grouping print "$4 $1 $3" if /^(hit)(?>\s+)(\d*0)(?>\s+)((?>[^\s]+))(?>\s+)(?>([^\s]+))$/ $ perl tst.pl file

Python
none yet

C
none yet

最佳答案

在awk之前应用egrep可以大大提高速度:

paul@home ~ % wc -l file 10000000 file paul@home ~ % for i in {1..5}; do time egrep 'hit [[:digit:]]*0 ' file | awk '{print $4, $1, $3}' | wc -l ; done 1000000 egrep --color=auto 'hit [[:digit:]]*0 ' file 0.63s user 0.02s system 85% cpu 0.759 total awk '{print $4, $1, $3}' 0.70s user 0.01s system 93% cpu 0.760 total wc -l 0.00s user 0.02s system 2% cpu 0.760 total 1000000 egrep --color=auto 'hit [[:digit:]]*0 ' file 0.65s user 0.01s system 85% cpu 0.770 total awk '{print $4, $1, $3}' 0.71s user 0.01s system 93% cpu 0.771 total wc -l 0.00s user 0.02s system 2% cpu 0.771 total 1000000 egrep --color=auto 'hit [[:digit:]]*0 ' file 0.64s user 0.02s system 82% cpu 0.806 total awk '{print $4, $1, $3}' 0.73s user 0.01s system 91% cpu 0.807 total wc -l 0.02s user 0.00s system 2% cpu 0.807 total 1000000 egrep --color=auto 'hit [[:digit:]]*0 ' file 0.63s user 0.02s system 86% cpu 0.745 total awk '{print $4, $1, $3}' 0.69s user 0.01s system 92% cpu 0.746 total wc -l 0.00s user 0.02s system 2% cpu 0.746 total 1000000 egrep --color=auto 'hit [[:digit:]]*0 ' file 0.62s user 0.02s system 88% cpu 0.727 total awk '{print $4, $1, $3}' 0.67s user 0.01s system 93% cpu 0.728 total wc -l 0.00s user 0.02s system 2% cpu 0.728 total

相对:

paul@home ~ % for i in {1..5}; do time gawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null; done gawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 2.46s user 0.04s system 97% cpu 2.548 total gawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 2.43s user 0.03s system 98% cpu 2.508 total gawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 2.40s user 0.04s system 98% cpu 2.489 total gawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 2.38s user 0.04s system 98% cpu 2.463 total gawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 2.39s user 0.03s system 98% cpu 2.465 total

“nawk”更慢!

paul@home ~ % for i in {1..5}; do time nawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null; done nawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 6.05s user 0.06s system 92% cpu 6.606 total nawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 6.11s user 0.05s system 96% cpu 6.401 total nawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 5.78s user 0.04s system 97% cpu 5.975 total nawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 5.71s user 0.04s system 98% cpu 5.857 total nawk '/hit [[:digit:]]*0 / { print $4, $1, $3 }' file > /dev/null 6.34s user 0.05s system 93% cpu 6.855 total

关于c - gawk和....之间的性能区别是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29825821/

上一篇：c - malloc() 是否有最大返回值？

下一篇：c - 关系运算符评估结果

相关文章：

c - 为什么我得到结果=0.00000

Perl:查找网页中所有表单字段的值

linux - 删除Linux中某些字段的行

linux - 基于列 linux 合并行

linux - 使用 shell 脚本从闰年日历中的时间序列计算年平均值

python - (ctypes)msvcrt.printf 并在 python 中打印

c - 分配/未分配字符串的命名约定

在 Borland C 中创建未修饰的函数

xml - 在 Perl 中使用 XML::XPath 模块获取节点值

windows - 我是否需要 PATH 中的 Perl bin 目录来运行 perl 程序(在 Windows 上)？

25

4

0

文章推荐： java - 如何在指定日期之前在Android中设置通知

文章推荐： javascript - Tinymce 添加

gawk - gawk 中的二进制数
如何在 gawk 中将一个数字指定为二进制数？根据manual , gawk 将所有数字解释为十进制，除非它们前面有 0(八进制)或 0x(十六进制)。与某些其他语言不同，0b 无法解决问题。例如
gawk - 在 gawk 脚本中启用重新间隔
我使用以下 #! 为 gawk 创建可执行脚本: #!/usr/bin/gawk -f 但是，如果我想启用间隔正则表达式，我似乎无法添加 --re-interval或-W re-interval在#!
cmd - Gawk 上的实数
我在带有 cygwin 的 Windows 计算机上使用 gawk。我想要做的是从三列中找到最小值和最大值，两列是纬度和经度，第三列是值。这是代码: echo off for /f "tok
regex - gawk 匹配函数参数作为正则表达式
我在使用 gawk 时遇到错误。下面是我的脚本和示例文件你们能帮帮我吗？我认为正则表达式是对的，但是当它传递给匹配函数时出现错误。我尝试了各种方法，例如将\赋予正则表达式或 double 的特殊字符
awk - gawk 中的正则表达式匹配多种方式
我有一些文本需要拆分以提取相关参数，而我的 [g]awk match 命令不起作用 - 我只是想了解为什么？! (我现在已经写了一个不太优雅的方法......)。所以字符串是 blahblah|ms
gawk 命令中的 JavaScript
我试图理解这个 gawk 命令中的一些 JavaScript: gawk 'function getip(rec) { n=split(rec,a,"\""); split(a[n-1
regex - gawk - 提取文本并将其放在同一行
好的，我有一些文本: === Blah 1 === ::Junk I wish: 2 Ignore ::More Junk: 1.2-2.7 ::ABC: [http://www.google.c
bash - gawk 用于使用变量将包含模式的行替换为多行
我正在尝试用一组行替换包含使用 gawk 的模式的行。比方说，文件 aa 包含 aaaa ccxyzcc aaaa ddxyzdd 我正在使用 gawk 将所有包含 xyz 的行替换为一组行 111\
linux - gawk 命令在服务器上运行时给出空白输出
我有下面的脚本来从 | 中删除换行符定界文件。此命令在本地主机中运行良好。但是在 linux 服务器上运行时给出空白输出 gawk -v RS="[^|]+([|][^|]+){2}\n" '{ gs
linux - gawk 不会过滤掉更大的数字吗？
我在我的程序中使用的简单 gawk 过滤器没有过滤掉比其余部分长一个数字的值。这是我的文本文件: 172 East Fourth Street Toronto 4 1890
http - gawk 在没有超时的情况下通过管道读取最后一位二进制数据？
我有一个已经用 gawk 编写的程序，它可以从互联网上下载很多小的信息。 (媒体扫描仪和索引器) 目前它启动wget来获取信息。这很好，但我想简单地重用调用之间的连接。该程序的一次运行可能会对同一 a
linux - Gawk 打印每列的最大值
我正在编写一个 awk 脚本，它接受文本文件中的一些输入列并打印出每列中的最大值输入: $cat numbers 10 20 30.3 40.5 20
regex - Gawk regexp 选择序列
很抱歉关于正则表达式的第 n 个简单问题，但如果没有在我看来太复杂的解决方案，我无法得到我需要的东西。我正在解析一个只包含 3 个字母 A、E、D 序列的文件，如 AADDEEDDAEEEEEEEEA
awk - gawk NR 和匹配问题
我需要使用正则表达式来解析数据文件的特定行。我的匹配测试命令有效，我的特定行号测试命令有效，但是当我将它们放在一起时，我没有输出。 gawk 'NR==42 {print $0}' filename
awk - FS 中的脱字符 (^) (gawk)
更新这是一个错误，修复程序在 git repo 中可用现在。我无法理解 FS 中的抑扬符被解释。例如，这是我的 file : $ cat file foo bar baz quz 我写了这个 a
awk - gawk FS 将记录拆分为单个字符
如果字段分隔符为空字符串，则每个字符成为一个单独的字段 $ echo hello | awk -F '' -v OFS=, '{$1 = NF OFS $1} 1' 5,h,e,l,l,o 但是，如果
localization - gawk float 本地化
我希望 gawk 使用逗号 , 作为小数点字符来解析数字。所以我将 LC_NUMERIC 设置为 fr_FR.utf-8 但它不起作用: echo 123,2 | LC_NUMERIC=fr_FR.u
awk - 使用 gawk 转置列和行
我正在尝试转置一个非常长的文件，但我担心它不会完全转置。我的数据看起来像这样: Thisisalongstring12345678 1 AB abc 937 4.320194 Thisis
bash - 如何在 gawk 中将日期字符串转换为时间戳？
我正在扫描格式如下的日志文件: 76.69.120.244 - - [09/Jun/2015:17:13:18 -0700] "GET /file.jpg HTTP/1.1" 200 22977 "h
awk - 在 gawk 中加入多个文件
我有大量文件(大约 500 个)。每个文件包含两列。每个文件的第一列都是相同的。我想使用 gawk 将所有文件合并到一个文件中。例如， File 1 a 123 b 221 c 904 Fil

首页

博学

6Ren·AI

商城

c - gawk和....之间的性能区别是什么？