python - 具有大数据集的 DictVectorizer

Question

我有一个包含分类值的大型数据集，并尝试使用 DictVectorizer 对它们进行编码。以下是我尝试过的代码片段。

dv = DictVectorizer(sparse=True)
_dicts = []
for line in fp:
    _dict = create_dict_feature(line)
    _dicts.append(_dict)
dv.fit_transform(_dicts)

但是，MemoryError发生在_dicts.append(_dict)中。我想知道解决这个问题的有效方法是什么。

Answer 1

根据文档，fit_transform 可以采用迭代。如果内存问题来自列表的大小，请考虑使用生成器而不是 list，这将在迭代时一次生成一个 dict 。

_dicts = (create_dict_feature(line) for line in fp)
dv = DictVectorizer(sparse=True)
dv.fit_transform(_dicts)

如果 fit_transform 像以前一样累积 dict 或 Mapping ，这不会有太大帮助。