python - 内存错误

Question

当尝试将大文本文件加载到内存中时，我得到以下信息:

Python(24297,0xa0d291a8) malloc: *** mach_vm_map(size=717418496) failed (error code=3)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug 
MemoryError

导致它的代码是:

with open('list.txt') as f:
        total = sum(1 for _ in f)

有没有原生的 python 方法来处理这个问题？

Answer 1

疯狂猜测:

您正在一个不包含(或很少)换行符的二进制文件上运行上述代码。因此，尝试读取一行会读取一行非常长的行。

试试这个:

with open('list.txt') as f:
    total = sum(block.count('\n')
                for block in iter(lambda: f.read(64*1024), ''))