linux - 需要减少执行时间

Question

我们正在尝试执行以下脚本以找出日志文件中特定单词的出现需要优化脚本的建议。

Test.log 大小 - 大约 500 到 600 MB

$wc -l 测试日志

16609852测试日志

po_numbers - 要搜索的 11 到 12k 个采购订单

$更多 po_numbers

xxx1335
AB1085
SSS6205
UY3347
OP9111
....and so on 

当前执行时间 - 2.45 小时

while IFS= read -r po
do
check=$(grep -c "PO_NUMBER=$po" Test.log)
echo $po "-->" $check >>list3

if [ "$check" = "0" ]
then
echo $po >>po_to_server
#else break
fi
done < po_numbers

Answer 1

执行时你读取大文件的次数太多了

grep -c "PO_NUMBER=$po"测试日志

您可以尝试将您的大文件拆分成较小的文件或将您的模式写入文件并让 grep 使用它

echo -e "PO_NUMBER=$po\n">> patterns.txt

然后

grep -f patterns.txt 测试日志