python - 如何一次从文件中读取大量行

Question

我想根据模板生成一堆文件。该模板有数千行。对于每个新文件，只有前 5 行不同。一次读取除前 5 行以外的所有行而不是逐行读取整个文件的最佳方法是什么？

Answer 1

一种方法是创建一个包含前 5 行的列表，然后在一个大缓冲区中读取其余部分:

with open("input.txt") as f:
    first_lines = [f.readline() for _ in range(5)]
    rest_of_lines = f.read()

或第一部分更对称:用 5 行创建 1 个小缓冲区:

first_lines = "".join([f.readline() for _ in range(5)])

作为替代方案，从纯 I/O 的角度来看，最快的是

with open("input.txt") as f:
    lines = f.read()

并使用行拆分生成器读取前 5 行(splitlines() 在内存复制方面将是灾难性的，找到一个实现 here )