java - 每次迭代保存模拟数据的最佳策略是什么？

Question

我有一个针对复杂问题的多目标粒子群优化算法，它使用大量粒子(4000 个粒子)并且是一个耗时的模拟(执行 4 - 6 小时)。

由于算法保存了一个存档，一个迄今为止找到的最佳解决方案的存储库，为了分析算法的收敛性和行为，我需要从这个存储库中保存一些数据，有时在每次迭代时从整个群体中保存一些数据。

目前，在每次迭代中，我(使用 Java)从粒子的对象(从存储库和/或群体)复制一些属性，将其格式化为一个 StringBuffer 的方法，该方法在与模拟不同的线程中运行，并且，仅在程序执行结束时，我将其保存到文本文件中。

我认为我的算法这样做会以不好的方式消耗内存。但是还要考虑性能我不知道保存所有这些数据的最佳方法是什么:我是否应该遵循相同的逻辑但每次迭代都保存一个 .txt 文件而不是在算法结束时保存？还是应该保存到数据库？如果是这样，我应该在每次迭代中还是在结束时或其他时间保存它？还是我应该以某种不同的方式处理它？<​​/p>

编辑: 存储库数据通常在 [5 - 10] MB 范围内，而人口数据占用 [100 - 200] MB 内存。每次运行该程序时，我都需要大约 20 次模拟来分析平均收敛性。

Answer 1

StringBuffer 使用数组来保存字符，是连续的内存区域。每当需要扩展时，它都会创建一个两倍大的新数组。通常这对于大多数应用程序来说已经足够了，但是如果您认为这个缓冲区可能非常大并且想要消除管理连续内存部分的开销，您可以将其替换为字符串列表(或 StringBuffers)。这将需要更多的内存，但不需要此内存是连续的。