java - 如何在计算期间存储数百万个 Double？

Question

我的引擎正在 X 上执行 1,000,000 次模拟交易。在每次模拟期间，对于每笔交易，可以验证特定条件。在本例中，我将值(double)存储到一个数组中。每笔交易都有自己的值列表(即这些值独立于一笔交易与另一笔交易)。

在所有模拟结束时，对于每笔交易，我都在他的 List<Double> 上运行一个算法得到一些输出。不幸的是，该算法需要这些值的完整列表，因此，我无法修改我的算法以“即时”计算输出，即在模拟期间。

在“正常”条件下(即 X 较低，并且条件验证的时间少于 10%)，计算正确结束，即使这可能会得到增强。

当我有很多交易(例如 X = 30 )并且我几乎所有的模拟都验证了我的特定条件(比如说 90% 的模拟)时，我的问题就出现了。所以只是为了存储值，我需要大约 900,000 * 30 * 64bits内存(约 216Mb)。我 future 的要求之一是能够运行 5,000,000 次模拟...

所以我无法继续使用当前存储值的方式。目前，我使用了 Map<String, List<Double>> 的“简单”结构，其中键是元素的 ID，List<Double>值列表。

所以我的问题是如何增强应用程序的这个特定部分以减少模拟期间的内存使用量？

还有一个重要的注意事项是，对于最终计算，我的 List<Double> (或我将使用的任何结构)必须订购。因此，如果我上一个问题的解决方案还提供了一种结构来对新插入的元素进行排序(例如 SortedMap )，那就太棒了!

我正在使用 Java 1.6。

---

编辑 1

我的引擎确实在执行一些财务计算，在我的例子中，所有交易都是相关的。这意味着我无法对第一笔交易运行我的计算，获取输出，清理 List<Double> ，然后转到第二笔交易，依此类推。

当然，作为临时解决方案，我们会增加分配给引擎的内存，但这不是我期望的解决方案；)

---

编辑2

关于算法本身。我不能在这里给出确切的算法，但这里有一些提示:

我们必须处理一个已排序的 List<Double> .然后我将计算一个索引(根据给定参数和 List 本身的大小计算)。然后，我终于返回了 index-th此列表的值。

public static double algo(double input, List<Double> sortedList) {
    if (someSpecificCases) {
        return 0;
    }
    // Calculate the index value, using input and also size of the sortedList...
    double index = ...;
    // Specific case where I return the first item of my list.
    if (index == 1) {
        return sortedList.get(0);
    }
    // Specific case where I return the last item of my list.
    if (index == sortedList.size()) {
        return sortedList.get(sortedList.size() - 1);
    }
    // Here, I need the index-th value of my list...
    double val = sortedList.get((int) index);
    double finalValue = someBasicCalculations(val);
    return finalValue;
}

我希望现在有这样的信息会有所帮助...

---

编辑3

目前，我不会考虑任何硬件修改(这里太长太复杂:( )。增加内存的解决方案会完成，但这只是一个快速修复。

我在想一个使用临时文件的解决方案:直到某个阈值(例如 100,000)，我的 List<Double>在内存中存储新值。当 List<Double> 的大小达到此阈值，我将此列表附加到临时文件中(每笔交易一个文件)。

类似的东西:

public void addNewValue(double v) {
    if (list.size() == 100000) {
        appendListInFile();
        list.clear();
    }
    list.add(v);
}

在整个计算结束时，对于每笔交易，我将重建完整的 List<Double>从我在内存中以及在临时文件中的内容。然后，我运行我的算法。我清理这笔交易的值(value)，然后转到第二笔交易(我现在可以这样做，因为所有模拟现在都已完成)。

您如何看待这样的解决方案？你觉得可以接受吗？

当然我会浪费一些时间在外部文件中读取和写入我的值，但我认为这是可以接受的，不是吗？

Answer 1

您的问题是算法问题，您正在寻找“强度降低”优化。

不幸的是，您在问题描述中过于害羞并说“不幸的是，该算法需要这些值的完整列表...”，这是可疑的。模拟运行已经通过了一个谓词，该谓词本身会告诉您有关通过筛子的集合的一些信息。

我希望符合条件的数据具有 low information content因此可以进行大量压缩。

如果没有进一步的信息，我们真的无法为您提供更多帮助。