gpt4 book ai didi

bash - mawk 语法适用 >1000 字段文件用于按列计算非数字数据?

转载 作者:行者123 更新时间:2023-11-29 09:36:16 24 4
gpt4 key购买 nike

以下愚蠢的硬编码应该是某种循环或并行结构,名义上有效,但它是糟糕的 mawk 语法。我很好的 mawk 语法尝试都失败了,在 mawk(未显示)和 gnu parallel(未显示)中使用 for 循环。

它真的只需要从磁盘读取 CSV 文件 1 次,而不是每列一次,因为我有一个非常大的 CSV 文件(数百万行,数千列)。我的原始代码运行良好(未显示),但它为每一列再次读取整个磁盘文件,这需要几个小时,我在意识到发生了什么后将其杀死。我有一个使用 GPU 连接器插槽的快速固态磁盘,因此磁盘读取速度非常快。因此 CPU 是这里的瓶颈。如果我必须对 4000 行除了列号之外基本相同的语句进行硬编码,那么愚蠢的代码甚至会成为更大的瓶颈。

代码按列计算非数字值。我需要一些循环(for 循环)或并行(首选),因为虽然以下内容在 2 列上正常工作,但它不是为数千列编写 mawk 代码的可扩展方式。

tail -n +1 pht.csv | awk -F"," '(($1+0 != $1) && ($1!="")){cnt1++}; (($2+0 != $2) && ($2!="")){cnt2++} END{print cnt1+0; print cnt2+0}'
2
1

怎样才能“第1列处理;第2列处理;”减少重复代码?如何引入循环? gnu parallel怎么引入?非常感谢。 awk 新手,我是。对其他语言并不陌生。

我一直期待以下一个或多个 bash 命令的一些巧妙组合能够轻松解决这个问题,但我已经过了好几个小时了,什么也看不到。我张开双手前来。为代码贫乏的人施舍?

  • seq 1 2(>>2 用于现实生活中的 CSV 文件)
  • tail(根据需要跳过 header 或不跳过)
  • mawk(漂亮的按行 CSV 文件处理,使用我在演示中向您展示的方便的语法,用于在据称是全数字的巨型 CSV 数据文件中轻松查找非数字)
  • tr(删除换行符,方便转置操作)
  • 剪切(一次抓取一列)
  • 并行(快是好,我有很多内核需要处理,还有 phat RAM)

抱歉,我绝对不能使用 CSV 特定库,如 python pandas 或 R 数据帧。我的手被绑在这里。对不起。谢谢你这么酷。在这种情况下,我只能使用 bash 命令行。

我的 mawk 可以处理 32000+ 列,因此 NF 在这里不是问题,这与我见过的其他一些 awk 不同。我的列少于 32000(但不是那么多)。

数据文件 pht.csv 包含以下 3x2 数据集:

cat pht.csv
8,T1,
T13,3,T1
T13,,-6.350818276405334473e-01

最佳答案

无权访问 mawk 但您可以执行与此等效的操作

awk -F, 'NR>1 {for(i=1;i<=NF;i++) if($i~/[[:alpha:]]/) a[i]++} 
END {for(i=1;i in a;i++) print a[i]}' file

即使是百万条记录,也不会超过几分钟。

要识别指数符号,正则表达式测试将不起作用,您需要恢复到评论中提到的 $1+0!=$1 测试。请注意,您不必单独检查空字符串。

关于bash - mawk 语法适用 >1000 字段文件用于按列计算非数字数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42522991/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com