python-3.x - MemoryError : Unable to allocate 30. 4 GiB，用于具有形状(725000、277、76)和数据类型 float64 的数组

Question

它给出了内存错误，但永远不会达到内存容量。我有 60 GB 的 SSH 内存，完整的数据集进程消耗 30
我正在尝试使用 k-fold 训练自动编码器。没有 k-fold 训练效果很好。原始数据集包含 hdf5 格式的 250,000 个数据。
如果我使用的总数据少于 100000，则使用 K-fold 它可以工作。
我已将其转换为 float32 但仍然无法正常工作。
我也试过 echo 1 但它会自动杀死 python 程序

Answer 1

考虑到您提供的数据集的维度( 725000 x 277 x 76 )及其数据类型(float64 - 8 字节)，您似乎需要(至少)大约 114 GB 将数据集加载/存储在 RAM 中。
克服此限制的解决方案是:1) 通过 hyperslab 选择读取一定数量的数据集(例如，当时 1 GB 的块)并将其加载/存储在内存中，2) 对其进行处理，以及 3) 重复该过程(即转到步骤 1)直到数据集被完全处理。这样，您就不会耗尽 RAM 内存。