python - 无法使用 scipy.arff.loadarff 加载 arff 数据集

Question

我正在尝试从https://cometa.ujaen.es/下载arff数据集(例如 https://cometa.ujaen.es/datasets/yahoo_arts )并使用 scipy.arff.loadarff 将其加载到 python 中。

但是，scipy 似乎需要 header 后有一种 csv 文件，并且无法解析绝大多数数据集。

例如。重现问题:

from scipy.arff import loadarff
import urllib

urllib.request.urlretrieve('https://cometa.ujaen.es/public/full/yahoo_arts.arff', 'yahoo_arts.arff')
ds = loadarff('yahoo_arts.arff')

(在这种情况下我遇到了ValueError:无法将字符串转换为 float :'{8 1')。

这是预期的吗？ (又名 scipy 实现不完全符合 arff 格式)您知道一些解决方法或一些手工解析函数吗？

感谢您对此主题的任何帮助/建议。

Answer 1

Is this expected ? (aka scipy implementation does not fully comply with the arff format)

是的，不幸的是。正如 docstring for loadarff 中提到的，“它无法读取包含稀疏数据的文件(文件中的 {})。”文件yahoo_arts.arff在其@data部分使用稀疏格式。

您可以尝试searching PyPi for "arff"寻找替代方案。我没有使用过其中任何一个，所以我没有任何具体的建议。