python - 用 python 编写大型 netCDF4 文件？

Question

我正在尝试将 netCDF4 包与 python 一起使用。我正在摄取近 2000 万条数据记录，每条 28 字节，然后我需要将数据写入 netCDF4 文件。昨天，我尝试一次完成所有操作，执行一个小时左右后，python 停止运行代码，并显示非常有用的错误消息:

Killed.

无论如何，使用数据的子部分执行此操作，很明显，在 2,560,000 条记录和 5,120,000 条记录之间，代码没有足够的内存，必须开始交换。当然，性能会大大降低。那么两个问题:1)有人知道如何使这项工作更有效吗？我在想的一件事是以某种方式增量地放入数据的子部分，而不是一次全部完成。有人知道该怎么做吗？ 2)我推测当内存最终耗尽时，“已被杀死”消息发生，但我不知道。有人能解释一下吗？

谢谢。

附录:netCDF4 提供了这个问题的答案，您可以在我对自己的问题给出的答案中看到。所以目前我可以继续前进。但还有一个问题:netCDF4 的答案不适用于 netCDF3，而且 netCDF3 也不会消失。有人知道如何在netCDF3框架下解决这个问题吗？再次感谢。

Answer 1

在不看到代码的情况下很难判断您在做什么，但是您可以尝试使用 sync 命令在将一定量的数据写入文件后将内存中的数据刷新到磁盘:

http://netcdf4-python.googlecode.com/svn/trunk/docs/netCDF4.Dataset-class.html