java - 如何估计给定任务是否有足够的内存在 Java 中运行

Question

我正在开发一个应用程序，允许用户设置他们希望我运行其算法的最大数据集大小

很明显，大小约为 20,000,000 的数组会导致“内存不足”错误。因为我是通过反射调用它的，所以我对此无能为力。

我只是想知道，有什么方法可以根据用户堆空间设置检查/计算最大数组大小，从而在运行应用程序之前验证用户输入？

如果不行，有没有更好的解决方案？

用例:

• 用户提供了他们想要运行算法的数据大小，我们生成一个数字范围来测试它是否达到他们提供的限制。

• 我们记录运行和测量值所需的时间(以便计算出 o 符号)。

• 我们需要以某种方式限制用户输入，以免超出或出现此错误。理想情况下，我们希望在尽可能大的数组大小上测量 n^2 算法(这可能会持续几天的运行时间)，因此我们真的不希望它运行 2 天然后失败，因为这会是一种浪费时间。

Answer 1

您可以使用Runtime.freeMemory()的结果来估计可用内存量。然而，实际上可能有大量内存被不可访问的对象占用，这些内存很快就会被 GC 回收。因此，您实际上可能可以使用比这更多的内存。您可以尝试之前调用 GC，但这并不能保证执行任何操作。

第二个困难是估计用户给出的数字所需的内存量。虽然计算具有如此多条目的 ArrayList 的大小很容易，但这可能还不是全部。例如，这个列表中存储了哪些对象？我希望每个条目至少有一个对象，因此您也需要添加此内存。计算任意 Java 对象的大小要困难得多(实际上，只有了解对象背后的数据结构和算法才可能实现)。然后在算法运行期间可能会创建很多临时对象(例如装箱基元、迭代器、StringBuilder 等)。

第三，即使可用内存理论上足以运行给定任务，但实际上也可能不够。如果堆中反复填充对象，然后释放一些对象，创建一些新对象等等，那么 Java 程序会变得非常慢，这是由于大量的垃圾收集造成的。

所以在实践中，你想要实现的目标是非常困难的，而且可能几乎是不可能的。我建议尝试运行该算法并捕获 OutOfMemoryError。

通常，捕获错误是你不应该做的事情，但这似乎是一个可以的场合(我在一些类似的情况下这样做)。您应该确保一旦抛出 OutOfMemoryError，一些内存就可以被 GC 回收。这通常不是问题，因为算法中止，调用堆栈被展开，并且一些(希望是很多)对象不再可达。在您的情况下，您可能应该确保大列表是这些对象的一部分，在 OOM 的情况下这些对象立即变得无法访问。那么您很有可能在错误发生后继续您的申请。

但是请注意，这并不能保证。例如，如果您有多个线程并行工作并消耗内存，则其他线程也可能会收到 OutOfMemoryError 并且无法处理此问题。此外，该算法还需要支持这样一个事实:它可能在任意点被中断。因此，它应该确保执行必要的清理操作(当然，如果这些操作需要大量内存，您就会遇到麻烦!)。