python - 用于迭代两个可迭代对象的 zip() 替代方法

Question

我有两个必须同时迭代的大(~100 GB)文本文件。

Zip 适用于较小的文件，但我发现它实际上是从我的两个文件中生成行列表。这意味着每一行都存储在内存中。我不需要多次对这些行执行任何操作。

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r')

for i, j in zip(handle1, handle2):
    do something with i and j.
    write to an output file.
    no need to do anything with i and j after this.

是否有替代 zip() 的替代方案，它充当生成器，允许我在不使用 >200GB 内存的情况下遍历这两个文件？

Answer 1

itertools有一个函数 izip那样做

from itertools import izip
for i, j in izip(handle1, handle2):
    ...

如果文件大小不同，您可以使用 izip_longest ，因为 izip 将在较小的文件处停止。