linux - 实时逐行解析程序输出

Question

我有一个程序执行一些繁重的处理(ML 算法)并将大量数据(读取 GB 的纯文本)写入标准输出。在某些特定情况下，我只需要输出的一小部分，但现在我正在保存一个(巨大的)文本文件，然后解析其中的行以获取我的数据。

虽然完全有效，但我的方法非常有效。有没有办法避免生成如此大的文件(因为无论如何都会删除大部分数据)，并逐行进行动态解析。

执行:

./myProgram model test > myOutput

我的输出内容(百万行):

0, blah blah blah thousand of more blahs -> [ I care data inside brackets ]
0, blah blah blah thousand of more blahs -> [ I care data inside brackets ]
....

我认为最好的选择是使用 unix 管道来链接结果，但我不知道如何逐行发送数据，让 python 或 java 应用程序解析它吧。

./myProgram model test | <now what>

Answer 1

要在要用于过滤数据的脚本中读写数据，只需从/向标准输入/输出读写即可。

./myProgram model test | ./filter.py > myOutput

过滤器.py:

import sys

for line in sys.stdin:
    if some_condition:
        sys.stdout.write(line)

如果条件只是在数据中有一些模式你不需要脚本，你可以简单地使用 grep 来过滤行:

 ./myProgram model test | grep 'interesting_pattern' > myOutput