python - 如何在 Python 中读取一个 100GB 的单行文本文件？

Question

我在 Windows 平台上使用 Python 3。由于文件读取器的默认行为是逐行读取文件，因此我很难处理只有一行的 100GB 文本文件。

我知道诸如 this 之类的解决方案用于引入自定义记录分隔符以用 \n 替换常用字符；但我想知道我是否只能通过 Python 使用和处理我的文件？

我只有 8GB 内存。我的文件是销售记录(包括商品、价格、买家……)。我对文件的处理主要是编辑价格数字。记录之间使用 | 字符分隔。

Answer 1

# !/usr/bin/python3
import os, sys

# Open a file
fd = os.open("foo.txt",os.O_RDWR)

# Reading text
ret = os.read(fd,12)
print (ret.decode())

# Close opened file
os.close(fd)
print ("Closed the file successfully!!")

或

with open(filename, 'rb') as f:
    while True:
        buf = f.read(max_size)
        if not buf:
            break
        process(buf)

或

from functools import partial

with open('somefile', 'rb') as openfileobject:
    for chunk in iter(partial(openfileobject.read, 1024), b''):
        do_something()