python - 如何估计 Pandas 的 DataFrame 需要多少内存？

Question

我一直在想...如果我正在将一个 400MB 的 csv 文件读入 pandas 数据帧(使用 read_csv 或 read_table)，有没有办法猜测这需要多少内存？只是想更好地了解数据帧和内存...

Answer 1

df.memory_usage()将返回每列占用多少字节:

>>> df.memory_usage()

Row_ID            20906600
Household_ID      20906600
Vehicle           20906600
Calendar_Year     20906600
Model_Year        20906600
...

要包含索引，请传递 index=True。

所以要获得整体内存消耗:

>>> df.memory_usage(index=True).sum()
731731000

此外，传递 deep=True 将启用更准确的内存使用情况报告，该报告说明了所包含对象的全部使用情况。

这是因为如果 deep=False(默认情况)，内存使用不包括不是数组组件的元素消耗的内存。