python - 读取 tarfile 内的大文件头 (~9GB)，无需完全提取

Question

我有 ~1GB *.tbz 文件。每个文件中都有一个约 9GB 的文件。我只需要读取该文件的 header ，即前 1024 个字节。

我希望尽快完成此操作，因为我有数百个要处理的 1GB 文件。提取大约需要1分30秒。

我尝试使用完全提取:

tar = tarfile.open(fn, mode='r|bz2')
for item in tar:
    tar.extract(item)

和tarfile.getmembers()，但速度没有提高:

tar = tarfile.open(fn, mode='r|bz2')
for member in tar.getmembers():
    f = tar.extractfile(member)
    headerbytes = f.read(1024)
    headerdict = parseHeader(headerbytes)

getmembers() 方法一直在那里花费时间。

有什么办法可以做到这一点吗？

Answer 1

我认为你应该使用标准库bz2接口(interface)。 .tbz 是 tar 文件的文件扩展名，这些文件使用 -j 选项压缩以指定 bzip2 格式.

如@bbayles评论中指出，您可以将文件打开为 bz2.BZ2File并使用seek和read:

read([size])

Read at most size uncompressed bytes, returned as a string. If the size argument is negative or omitted, read until EOF is reached.

seek(offset[, whence])

Move to new file position. Argument offset is a byte count.

f = bz2.BZ2File(path)
f.seek(512) 
headerbytes = f.read(1024)

然后您可以使用您的函数对其进行解析。

headerdict = parseHeader(headerbytes)