python - 使用 zipfile 和 scipy.io.arff 从 ZIP 读取 ARFF

Question

我想在 scikit-learn 中处理相当大的 ARFF 文件。这些文件位于 zip 存档中，我不想在处理之前将存档解压到文件夹中。因此，我使用Python 3.6的zipfile模块:

from zipfile import ZipFile
from scipy.io.arff import loadarff

archive = ZipFile( 'archive.zip', 'r' )
datafile = archive.open( 'datafile.arff' )
data = loadarff( datafile )
# …
datafile.close()
archive.close()

但是，这会产生以下错误:

Traceback (most recent call last):
  File "./m.py", line 6, in <module>
    data = loadarff( datafile )
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 541, in loadarff
    return _loadarff(ofile)
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 550, in _loadarff
    rel, attr = read_header(ofile)
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 323, in read_header
    while r_comment.match(i):
TypeError: cannot use a string pattern on a bytes-like object

根据loadarff documentation , loadarff 需要一个类似文件的对象。根据zipfile documentation , open 返回类似文件的 ZipExtFile。

因此，我的问题是如何使用 ZipFile.open 返回的内容作为 loadarff 的 ARFF 输入。

注意:如果我手动解压并直接使用 data = loadarff( 'datafile.arff' ) 加载 ARFF，一切都很好。

Answer 1

from io import BytesIO, TextIOWrapper
from zipfile import ZipFile
from scipy.io.arff import loadarff

zfile = ZipFile('archive.zip', 'r')
in_mem_fo = TextIOWrapper(BytesIO(zfile.read('datafile.arff')), encoding='utf-8')
data = loadarff(in_mem_fo)

将 zfile 读入内存中的 BytesIO 对象。将 TextIOWrapper 与 encoding='utf-8' 结合使用。在 loadarff 中使用此内存缓冲文本对象。

编辑:原来 zfile.open() 返回一个类似文件的对象，因此上述操作可以通过以下方式完成:

zfile = ZipFile('archive.zip', 'r')
in_mem_fo = TextIOWrapper(zfile.open('datafile.arff'), encoding='ascii')
data = loadarff(in_mem_fo)

谢谢@Bernhard