python - 使用python从非常大的文本文件(16gb)中跳过一行的省时方法

Question

我有一个非常大的 16gb 文本文件。我不需要跳过任何行。我想以高效的方式跳过那些行。我正在使用 python 编写代码。怎么做？

Answer 1

只需阅读您要跳过的行数并将其丢弃:

with open(your_file) as f_in:
    for i in range(number_of_lines_to_skip):
        f_in.readline()
    # your file is now at the line you want...  

您也可以使用 enumerate有一个生成器，一旦你跳过了你想要的行，它只会产生行:

with open(your_file) as f_in:
    for line in (line for i, line in enumerate(f_in) if i>lines_to_skip):
        # here only when you have skipped the first lines

第二个可能更快。