python - 将大型 NumPy 数组写入文件的有效方法

Question

我目前有一个在 PiCloud 上运行的项目，该项目涉及 ODE 求解器的多次迭代。每次迭代都会生成一个大约 30 行和 1500 列的 NumPy 数组，每次迭代都会附加到先前结果数组的底部。

通常，我只是让函数返回这些相当大的数组，将它们保存在内存中并一次处理它们。 异常(exception) PiCloud 对函数可以输出和输出返回的数据大小有相当严格的限制，以降低传输成本。这很好，只是这意味着我必须启动数千个作业，每个作业都在迭代中运行，开销相当大。

看起来最好的解决方案是将输出写入文件，然后使用他们拥有的另一个没有传输限制的函数收集文件。

我最好的选择是将其转储到 CSV 文件中吗？我应该在每次迭代中添加到 CSV 文件中，还是将其全部保存在一个数组中直到结束然后只写一次？有什么非常聪明的东西我错过了吗？

Answer 1

除非中间文件是人类可读的，否则请不要使用 CSV，因为这将不可避免地导致精度损失。

最有效的可能是 tofile ( doc )，它用于在您提前知道数据的所有属性时将文件快速转储到磁盘。

对于独立于平台但特定于 numpy 的保存，您可以使用 save ( doc )。

如果您需要可移植性，Numpy 和 scipy 还支持各种科学数据格式，例如 HDF5。