python - 我需要拆分一个非常大的文本文件

Question

我有一个很大的文本文件(超过我的 RAM)，我需要使用其中的每一行来进行进一步处理 。但是，如果我一次读到 4096 个字节，我担心会在中间某处拆分该行。我该如何继续？

Answer 1

以下是您可以执行的操作:

SIZE = 1024

with open('file.txt') as f:
    old, data = '', f.read(SIZE)

    while data:
          # (1)
        lines = data.splitlines()
        if not data.endswith('\n'):
            old = lines[-1]
        else:
            old = ''

        # process stuff

        data = old + f.read(SIZE)

1. 如果您执行data.splitlines(True)，则换行符将保留在结果列表中。