python - 如何在 python 中处理非常大的文件？

Question

这个问题很早以前就被问过，但已经是很久以前的事了。我目前正在尝试打开一个非常大的文件(20GB)来操作内容。

我正在使用:

read_path = '../text/'
time = 3600
data = open(read_path+'genomes'+str(time)).read().replace(',','\n').replace('\n','')

当我在同一目录(genomes1000)中选择一个较小的文件时，它工作正常，但是当我将时间更改为与较大文件匹配的时间时，我收到错误。

确切的错误消息是:

Tempo:analytics scottjg$ python genomeplot.py 
Traceback (most recent call last):
  File "genomeplot.py", line 27, in <module>
    data = open(read_path+'genomes'+str(time)).read().replace(',','\n').replace('\n','')
OSError: [Errno 22] Invalid argument
Thoughts?

Answer 1

您的代码将文件的全部内容读入内存:

open(read_path+'genomes'+str(time)).read()

我怀疑您没有可用的内存来容纳此操作，这可能是失败的原因。在循环中调用 readline 来逐行处理不是更好吗？