python - 打开用于写入和读取大文件的Python

Question

我正在尝试使用 os.open、mmap 和 from_buffer() 读取大型二进制文件 (>5 GB)。

运行fd = os.open(filePath, O_RDWR) 引发错误OSError: [Errno 22] Invalid argument: H:\\xyz.wdp。我意识到问题在于文件太大，因为使用类似但较小的文件，O_WRONLY 或 O_RDONLY，它起作用了。不幸的是，如果我使用 O_WRONLY 或 O_RDONLY，则 from_buffer() 函数的访问被拒绝(TypeError: mmap can't edit a只读内存映射。)。

我的示例代码是:

class StructData(Structure):
    _pack_ = 1
    _fields_ = [('bin', c_ubyte)]

fd = os.open(filePath, os.O_RDWR)
mmap_file = mmap.mmap(fd, length=80, access=mmap.ACCESS_WRITE, offset=0)
d_array = StructData*80
data = d_array.from_buffer(mmap_file)

你能帮我解决这个问题吗？我想补充一点，我处理大文件，并且我需要它运行得非常快，我想避免使用 struct.unpack 等。

谢谢!

Answer 1

从路径来看，您似乎使用的是 Windows。文档( https://docs.python.org/2/library/os.html#os.open )说应该使用 os.O_BINARY 在 Windows 上以二进制模式打开文件。您尝试过以下方法吗？ (如果您可能正在创建该文件...)

fd = os.open(filePath, os.O_RDWR | os.O_CREAT | os.O_TRUNC | os.O_BINARY)

不知道Windows中关于大文件支持的情况: https://docs.python.org/2/library/posix.html