python del 没有释放所有内存

Question

在我的 python 程序中，我使用 pandas 读取一个 csv 文件并存储在内存中:

data = pandas.read_csv('data.csv')

在运行上述命令之前，我使用 free -m 检查可用内存，输出为 1704。运行上述命令后，输出为 729。我跑

del(data)

释放数据使用的内存。现在，当我检查可用内存时，输出为 1093，这比原来的 1704 少得多。剩下的去哪儿了？我怎样才能释放它？我在 ipython 中运行所有这些，即使退出 ipython 也不会释放内存。

谢谢。

Answer 1

“退出 ipython 不会释放内存”意味着您在操作系统级别看到了效果。您可能看到了内存缓存的效果。该数据保存在内存中，直到需要空间或再次读取文件 - 不是从磁盘读取文件，而是从内存的“非事件”部分读取。

假设你在一些 unix/linux 变体上，关于 ram 使用的详细信息

cat /proc/meminfo

您的可用内存为空闲 + 非事件。 Free 现在可用，操作系统将根据需要从 Inactive 回收空间。我保留以下别名(在 csh 中)以进行检查

alias 'freemem' cat /proc/meminfo | grep -i 'inactive:\|memfree:'

Python 的 del 将从命名空间中删除您的变量。因此，如果您的代码中没有在其他任何地方引用该内存，python 的垃圾收集将启动并清除内存中的数据。或者如果你想强制它:

import gc
foo = range(10000000)
del foo
gc.collect()

无论如何，操作系统都会将文件内容缓存起来，这样当您再次尝试读取同一个文件时，它就不必进行冗余磁盘读取。