gpt4 book ai didi

linux - 如何在 Linux 中处理动态增长的大文件

转载 作者:太空宇宙 更新时间:2023-11-04 12:34:19 24 4
gpt4 key购买 nike

我的 Linux 服务器中有一个非常大的文件(目前超过 10GB)并且内容不断添加到文件的末尾。

我有另一个脚本需要一次处理大约 1000 行这个文件。从该文件中获取行并对其进行操作的最佳方法是什么。

我正在考虑使用 sed 命令来删除这些行。但这是最好的方法吗?

最佳答案

由于要监视的文件是纯文本文件(不是二进制文件),您可以执行

tail -f my_big_fat_file | my_fancy_processing_script

您不会以 1000 行 block 的形式获取它,但是您的处理脚本可以累积这些行并开始处理,直到它收集到足够多的行。

关于linux - 如何在 Linux 中处理动态增长的大文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42409415/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com