java - 提高机器学习 JAVA 程序的速度

Question

我正在使用 GATE Learning 在 Java 中进行机器学习。我有大量的文档数据集可供学习。在使用 netbeans 时，我收到 java 堆空间错误。所以我在-Xmx参数中提供了1600MB。现在，我没有收到堆空间错误，但需要足够的时间来运行! (运行了 90 分钟，我不得不停止这个过程，因为我失去了耐心!)。

我不知道我是否应该增加我的 RAM(当前为 4GB)或升级我的操作系统(当前为 XP SP3，我听说 vista 和 win 7 更好地利用 RAM 和处理器)或升级我的处理器(当前为双核 E5500 2.80 GHz) )？

请深入了解我可以做些什么来使这个过程运行得更快!

谢谢瑞莎

Answer 1

在你回答什么能让它运行得更快之前，你必须找到瓶颈。

我对 Windows 不太熟悉，但是有某种系统负载监控小部件，IIRC。

我会做如下:

• 创建一些大小不断增加的数据集(更多文档)
• 针对这些数据集运行您的程序
• 在每次运行时，计算出 CPU 是否已达到极限，或者内存是否已达到极限并开始交换，或者整个过程是否受 IO 限制

然后修复导致问题的问题。

就上下文而言，机器学习算法在大型数据集上运行很长时间并不罕见。您可以使用上述方法来绘制随着输入数据集大小增加的运行时间，至少这样您就会知道您的程序是否会在 100 分钟或 100 个世纪后停止。