python - 打开一个 25GB 的文本文件进行处理

Question

我有一个 25GB 的文件需要处理。这是我目前正在做的，但需要很长时间才能打开:

collection_pricing = os.path.join(pricing_directory, 'collection_price')
with open(collection_pricing, 'r') as f:
    collection_contents = f.readlines()

length_of_file = len(collection_contents)

for num, line in enumerate(collection_contents):
    print '%s / %s' % (num+1, length_of_file)
    cursor.execute(...)

我该如何改进？

Answer 1

1. 除非文件中的行真的真的很大，否则不要在每一行都打印进度。打印到终端非常慢。打印进度例如每 100 行或每 1000 行。

2. 使用可用的操作系统工具获取文件的大小 - os.path.getsize()，参见 Getting file size in Python?

3. 去掉 readlines() 以避免将 25GB 读入内存。而是逐行阅读和处理，参见例如How to read large file, line by line in python