gpt4 book ai didi

linux - 什么是最快的 egrep

转载 作者:塔克拉玛干 更新时间:2023-11-03 00:57:39 28 4
gpt4 key购买 nike

<分区>

我需要从一个包含 200 万行的大型 csv 文件中进行 egrep,我想将 egrep 时间减少到 0.5 秒,这可能吗?不,我现在不需要数据库(sqlite3 或 MySQL)..

$ time wc foo.csv
2000000 22805420 334452932 foo.csv
real 0m3.396s
user 0m3.261s
sys 0m0.115s

我已经能够将运行时间从 40 秒减少到 1.75 秒

$ time egrep -i "storm|broadway|parkway center|chief financial" foo.csv|wc -l

108292

real 0m40.707s
user 0m40.137s
sys 0m0.309s

$ time LC_ALL=C egrep -i "storm|broadway|parkway center|chief financial" foo.csv|wc -l

108292

real 0m1.751s
user 0m1.590s
sys 0m0.140s

但我希望 egrep 实时时间小于半秒,任何技巧将不胜感激,文件不断变化,所以我不能使用任何缓存机制......

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com