java - 相同的程序，相同的 JVM，但在不同机器上的内存需求和执行时间却大不相同——为什么？

Question

我正在尝试运行 NetLogo (java 模拟框架)作为大型实验的一部分在集群上进行模拟。我对(相对)简单的模拟看似巨大的内存需求感到惊讶。在集群上，它会抛出“java.lang.OutOfMemoryError:Java heap space”对于任何小于“-Xmx2500M”堆大小的异常。一次执行需要运行 5 个小时。我在我的两台 Mac(iMac 和 MacBook Pro)上运行了相同的实验，它们在不到一小时内执行，“-Xmx1024”没有给出任何错误。集群作业需要“-XX:MaxPermSize=250M”，而在我的 Mac 上不需要增加到默认值以上。我运行相同的代码，相同的输入，在所有情况下都使用完全相同的 jar 。

每种情况下都使用 64 位 JVM(据我所知，它们非常相似):

<on the cluster>
$ java -version
java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) 64-Bit Server VM (build 20.1-b02, mixed mode)

<on my macs>
$ java -version
java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04-415-10M3646)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01-415, mixed mode)

而且我在所有情况下都运行客户端 JVM(最初在集群上使用服务器，切换到客户端没有任何区别)。我曾尝试使用 Java 7 在集群上执行，同样存在巨大的内存和执行时间问题。

我完全感到困惑，没有人能解释这一点。有没有人在那里遇到过这个？非常感谢任何帮助!

Answer 1

我怀疑其中一个具有更快的网络或磁盘 IO。如果您使用队列写入磁盘或写入网络，其中一台计算机可以跟上而另一台计算机不能，队列可能会变慢并使用无限量的内存。

如果您有更快的网络 IO，它可以帮助更快地发送数据(保持队列较小)，或者它可能意味着您接收数据的速度太快(意味着队列的增长速度可能快于它们被消耗的速度)

很大程度上取决于您的应用程序实际执行的操作。当您的程序遇到 OOME 时，我建议您获取堆转储并对其进行分析，并查找消耗大量内存的集合(例如队列)。