python - 如何从 warc.wet.gz 中提取每一个 payload？

Question

我一直在尝试从 Common Crawl 的湿文件中提取文本数据。我目前正在使用 Internet Archieve 的 warc 解析器 https://github.com/internetarchive/warc

import warc
w = warc.open(fileName)
for record in w:
  text = record.payload.read()

但此方法提供的数据还不到负载中的一半数据。是否有任何其他更好的方法可以提供文件中每个有效负载中的所有数据。

Answer 1

warc 库的 gzip 处理有一个错误，导致 warc 无法读取整个 WET 文件。为了克服这个错误，您应该使用 Python 的 gzip 库来动态解压缩文件流，如下所示:

import gzip
import warc
gzip_fobj = gzip.open(wet_file, "r")
warc_fobj = warc.WARCFile(fileobj=gzip_fobj, compress=False)