python - Python中文件操作的性能

Question

在执行操作之前读取整个文件更好还是从文件中读取时执行操作更好？

如果我首先读取整个文件，我会将信息逐行存储在列表中，如果我在读取文件的同时对数据进行操作，我将逐行读取-line 并在读取一行后执行我的操作。

为了便于讨论，我们假设该文件不是大得离谱。很高兴听到对小文件和大文件的想法以及操作是否有所不同。另外，我认为操作也发挥了作用；我正在读取 URL 并下载文件。

Answer 1

为什么你不使用 timeit 模块来了解一下自己

import timeit

WORDS = "/usr/share/dict/words"

def a():
    num_lines = 0
    num_chars = 0
    with open(WORDS) as f:
        lines = f.readlines()
        num_lines = len(lines)
        for line in lines:
            num_chars += len(line)
    return num_lines, num_chars


def b():
    num_lines = 0
    num_chars = 0
    with open(WORDS) as f:
        for line in f:
            num_chars += len(line)
            num_lines += 1
    return num_lines, num_chars

if __name__ == '__main__':
    print timeit.timeit("a()", setup="from __main__ import a", number=100)
    print timeit.timeit("b()", setup="from __main__ import b", number=100)