python - Pandas 使用的存储内存比要求的要多得多

Question

我在 Ubuntu 16.10 上使用 numpy (1.13.1) 和 pandas (0.20.3) 以及 python 2.7 或 3.5(两者都有相同的问题)。

我正在研究 pandas 内存处理(特别是当它复制或不复制数据时)并遇到了一个我不明白的重大内存问题。虽然我看到了(许多)其他关于内存性能的问题，但我还没有发现任何直接解决这个问题的问题。

具体来说，pandas 分配的内存比我要求的多很多。在尝试分配具有特定大小的列的 DataFrame 时，我注意到一些非常奇怪的行为:

import pandas as pd, numpy as np
GB = 1024**3
df = pd.DataFrame()
df['MyCol'] = np.ones(int(1*GB/8), dtype='float64')

当我执行此命令时，我看到我的 python 进程实际上分配了 6GB 的内存(如果我要求 2GB，则为 12G，如果我要求 3GB，则为 21GB，如果我要求 4GB，我的计算机会崩溃 :-/)预期的 1GB。一开始我想可能 Python 正在做一些积极的预分配，但是如果我只是构建 numpy 数组本身，我每次都会得到我要求的确切内存量，无论是 1GB、10GB、25GB 还是其他。

此外，更有趣的是，如果我将代码稍微更改为:

df['MyCol'] = np.ones(int(1*GB), dtype='uint8')

它分配的内存太多以至于我的系统崩溃(单独运行 numpy 调用正确分配了 1GB 的内存)。 (编辑 2017/8/17:出于好奇，我今天尝试使用更新版本的 pandas (0.20.3) 和 numpy (1.13.1)，以及升级到 64GB 的 RAM。运行这个命令仍然损坏，分配所有 64(ish)GB 可用 RAM。)

如果 pandas 进行复制并可能分配另一列来存储索引，我可以理解所要求的内存加倍甚至三倍，但我无法解释它实际在做什么。粗略地看一下代码也不是很清楚。

我试过用几种不同的方式构建数据框，结果都一样。鉴于其他人成功地使用这个包进行大数据分析，我不得不假设我做错了一些可怕的事情，尽管根据我可以告诉的文档，这应该是正确的。

想法？

一些补充说明:

1. 即使内存使用量很大，当调用 memory_usage() 时，pandas 仍然(错误地)报告预期的数据大小(即，如果我分配一个 1GB 的数组，它报告 1GB，即使实际上已经分配了 6-10GB)。
2. 在所有情况下，索引都很小(由 memory_usage() 报告，这可能不准确)。
3. 取消分配 pandas DataFrame (df = None, gc.collect()) 实际上并没有释放所有内存。用这个方法肯定有漏水的地方。

Answer 1

所以我制作了一个 8000 字节的数组:

In [248]: x=np.ones(1000)

In [249]: df=pd.DataFrame({'MyCol': x}, dtype=float)
In [250]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000 entries, 0 to 999
Data columns (total 1 columns):
MyCol    1000 non-null float64
dtypes: float64(1)
memory usage: 15.6 KB

所以 8k 用于数据，8k 用于索引。

我添加了一列 - 使用量增加了 x 的大小:

In [251]: df['col2']=x
In [252]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000 entries, 0 to 999
Data columns (total 2 columns):
MyCol    1000 non-null float64
col2     1000 non-null float64
dtypes: float64(2)
memory usage: 23.4 KB

In [253]: x.nbytes
Out[253]: 8000