python - 保存数据的有效方法

Question

在我的模拟程序中，我一步计算大约 50 个数字，并重复此步骤大约 100000 次。我需要保存所有这些数字以绘制它们。

我用的是python，我想了两种方法。

1. 通过将这些数字附加到列表中来一次完成所有计算，或者
2. 对于每一步，在文件中写入 50 个数字，然后重复此操作。

这个程序我其实是用第一种方式做的，比如

for i in range(100000):
    data.append(calculated numbers)

但是我觉得这样太浪费内存了。但我也认为第二种方式比第一种方式慢(？)。

在这种情况下，什么是有效的方法？

Answer 1

您将需要批量计算数字并将它们写入磁盘。根据您使用的文件系统，您将希望写入大于特定 block 大小的数据以避免过多的磁盘写入。您在方法 2 中的性能下降应该是因为您触发了 100000 次磁盘写入。相反，每 1000 个周期后写入磁盘。那么你只有 100 次磁盘写入，但你一次只使用大约 50,000 个内存。然后您将获得高性能并保持在您的 RAM 限制内。

此外，请考虑使用 xrange 而不是 range，这样您就不会分配 100000 个数字的列表来执行循环。