java - 如何使用 Encog Java 训练巨大的集合？

Question

我有大量数据需要训练(千兆字节的数据)。

有什么办法可以根据需要加载和卸载吗？

是否最好将其分成小块(例如每个 100 MB)，然后训练每个子集，直到误差消失。完成后，重新开始，直到所有错误都足够好为止？

谢谢

Answer 1

那么，您是否尝试过使用所有数据进行训练时会发生什么？

应该可以使用 encogs BufferedNeuralDataSet

This class is not memory based, so very long files can be used, without running out of memory. This dataset uses a Encog binary training file as a buffer. When used with a slower access dataset, such as CSV, XML or SQL, where parsing must occur, this dataset can be used to load from the slower dataset and train at much higher speeds.

此外，我认为仅使用小子集进行训练不会获得良好的结果，因为您降低了第一个子集的误差，然后使用可能包含非常不同的数据的第二个子集重新训练，从而训练网络错误对第一组不利，依此类推......