python - guppy 报告的内存使用情况与 ps 命令不同

Question

我正在分析我扭曲的服务器。它使用的内存比我预期的要多得多。它的内存使用量会随着时间的推移而增长。

 ps -o pid,rss,vsz,sz,size,command
  PID   RSS    VSZ    SZ    SZ COMMAND
 7697 70856 102176 25544 88320 twistd -y broadcast.tac

如您所见，它花费了 102176 KB，即 99.78125 MB。我使用来自扭曲检修孔的孔雀鱼来观察内存使用情况。

>>> hp.heap()
Partition of a set of 120537 objects. Total size = 10096636 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0  61145  51  5309736  53   5309736  53 str
     1  27139  23  1031596  10   6341332  63 tuple
     2   2138   2   541328   5   6882660  68 dict (no owner)
     3   7190   6   488920   5   7371580  73 types.CodeType
     4    325   0   436264   4   7807844  77 dict of module
     5   7272   6   407232   4   8215076  81 function
     6    574   0   305776   3   8520852  84 dict of class
     7    605   1   263432   3   8784284  87 type
     8    602   0   237200   2   9021484  89 dict of type
     9    303   0   157560   2   9179044  91 dict of zope.interface.interface.Method
<384 more rows. Type e.g. '_.more' to view.>

嗯……好像哪里不对。 Guppy 显示内存总使用量为 10096636 字节，即 9859.996 KB 或 9.628 MB。

这是一个巨大的差异。这个奇怪的结果是怎么回事？我做错了什么？

更新:我昨晚写了一个监控脚本。它记录了内存使用情况和在线用户数。它是一个 radio 服务器，因此您可以看到有 radio 和所有听众。这是我用 matplotlib 生成的图。

有点奇怪。有时候ps打印出来的内存占用很低，像这样

2010-01-15 00:46:05,139 INFO 4 4 17904 36732 9183 25944
2010-01-15 00:47:03,967 INFO 4 4 17916 36732 9183 25944
2010-01-15 00:48:04,373 INFO 4 4 17916 36732 9183 25944
2010-01-15 00:49:04,379 INFO 4 4 17916 36732 9183 25944
2010-01-15 00:50:02,989 INFO 4 4 3700 5256 1314 2260

内存占用超低值是什么原因？而且，即使没有在线广播，没有听众，内存占用仍然很高。

Answer 1

可能是由于交换/内存预留，根据 ps 的定义:

RSS: resident set size, the non-swapped physical memory
     that a task has used (in kiloBytes).

VSZ: virtual memory usage of entire process.
     vm_lib + vm_exe + vm_data + vm_stack

这可能有点令人困惑，可以看到 4 种不同的尺寸指标:

# ps -eo pid,vsz,rss,sz,size,cmd|egrep python

PID    VSZ   RSS   SZ    SZ    CMD
23801  4920  2896  1230  1100  python

虚拟大小包括进程保留但未使用的内存、已加载的所有共享库的大小、换出的页面以及已被您的进程释放的 block ，因此它可能更大比 python 中所有事件对象的大小都大。

一些额外的工具来研究内存性能:

• Heapy(您正在使用的 Guppy 的一部分): http://guppy-pe.sourceforge.net/

• Python 内存验证器 http://www.softwareverify.com/python/memory/index.html

• PySizer http://pysizer.8325.org/

使用 pdb 和 objgraph 在 python 中跟踪内存泄漏的好指南:

http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks