machine-learning - 在大型 arff 数据集文件上运行 weka

Question

我有一个 arff 文件，其中包含 700 个条目，每个条目的 42000 多个功能适用于 NLP 相关项目。目前格式是密集格式，但如果使用稀疏表示，则可以大大减少条目。我在具有 2 GB RAM 的 core 2 duo 机器上运行，尽管将限制增加到 1536 MB，但还是出现了内存超出范围的情况。

如果我将 arff 文件转换为稀疏表示会有什么好处吗？还是我需要在更强大的机器上运行我的代码？

Answer 1

根据算法的内部数据结构以及数据的处理方式(增量或全部在内存中)，它是否需要更多内存。因此，您需要的内存取决于算法。

因此稀疏表示对您来说更容易，因为它很紧凑，但是据我所知，该算法将需要相同数量的内存来从同一数据集创建模型。输入的格式对于算法来说应该是透明的。