python - 为什么 python 列表比 numpy 数组能容纳更多数据？

Question

抱歉，我觉得这可能是一个基本问题，但我没有找到任何“解决方案”。

我正在填写python列表中有很多数据，最后想将其转换为numpy.array以便进一步处理。

但是，当我调用numpy.asarray(my_list)时，我收到内存不足错误。为什么会发生这种情况？是不是因为numpy.array对象存储在连续的内存块中，内存空间不够？

那么我该如何最好地处理如此大的数据量呢？我猜numpy这绝对是要走的路，所以我有点好奇，我可以用简单的 list 处理这样的卷。对象但不是我当前的 numpy方法。

再次重复我最重要的问题:我如何才能最好地处理数据，这适合 python lists (所以我想总的来说它仍然适合我的内存)，但无法转换为 numpy.array ？

谢谢!

Answer 1

为 numpy 数组分配内存，并且不要首先创建列表。

memmap 应该不是必需的，因为原始列表适合内存。