python - 如何在 Python 中逐行读取文件(或标准输入)而不是等待读取整个文件

Question

我们的磁盘中有几个巨大的文件(大于 RAM 的大小)。我想在 python 中逐行读取它们并在终端中输出结果。我已经完成了 [1] 和 [2]，但我正在寻找不等到整个文件被读入内存的方法。

我会同时使用这两个命令:

cat fileName | python myScript1.py
python myScript2.py fileName

[1] How do you read from stdin in Python?[2] How do I write a unix filter in python?

Answer 1

这是 standard behavior of file objects在 Python 中:

with open("myfile.txt", "r") as myfile:
    for line in myfile:
        # do something with the current line

或

for line in sys.stdin:
    # do something with the current line