python - Python 中的内存使用情况 : What's the difference between memory_profiler and guppy?

Question

我对特定 python 脚本的内存使用情况感到非常困惑。尽管 advice，我想我真的不知道如何分析使用情况来自几个 SO 问题/Answers .

我的问题是:memory_profiler 和 guppy.hpy 有什么区别？为什么一个告诉我我正在使用大量内存，而另一个告诉我我没有？

我正在使用 pysam，这是一个用于访问生物信息学 SAM/BAM 文件的库。将 SAM (ASCII) 转换为 BAM(二进制)并处理其间的文件时，我的主脚本内存很快用完。

我创建了一个小测试示例来了解每个步骤分配了多少内存。

# test_pysam.py: 

import pysam
#from guppy import hpy

TESTFILENAME = ('/projectnb/scv/yannpaul/MAR_CEJ082/' +
                'test.sam')
#H = hpy()

@profile # for memory_profiler
def samopen(filename):
#    H.setrelheap()
    samf = pysam.Samfile(filename)
#    print H.heap()
    pass


if __name__ == "__main__":
    samopen(TESTFILENAME)

使用 memory_profiler (python -m memory_profiler test_pysam.py) 监控内存使用情况会产生以下输出:

Filename: test_pysam.py

Line #    Mem usage    Increment   Line Contents
================================================
    10                             @profile # for memory_profiler
    11                             def samopen(filename):
    12     10.48 MB      0.00 MB   #    print H.setrelheap()
    13    539.51 MB    529.03 MB       samf = pysam.Samfile(filename)
    14                             #    print H.heap()
    15    539.51 MB      0.00 MB       pass

然后注释掉 @profile 装饰器并取消注释 guppy 相关行，我得到以下输出 (python test_pysam.py):

Partition of a set of 3 objects. Total size = 624 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0      1  33      448  72       448  72 types.FrameType
     1      1  33       88  14       536  86 __builtin__.weakref
     2      1  33       88  14       624 100 csamtools.Samfile

第 13 行的总大小在一种情况下为 529.03 MB，在另一种情况下为 624 字节。这里到底发生了什么？ 'test.sam' 是一个大约 52MB 的 SAM(同样是 ASCII 格式)文件。深入研究 pysam 对我来说有点棘手，因为它是与 samtools 相关的 C 库的包装器。不管 Samfile 实际上是什么，我想我应该能够了解为创建它分配了多少内存。我应该使用什么程序来正确分析更大、更复杂的 python 程序每一步的内存使用情况？

Answer 1

What's the difference between memory_profiler and guppy.hpy?

您是否了解堆的内部 View 与操作系统的程序外部 View 之间的区别？ (例如，当 Python 解释器在 1MB 上调用 free 时，出于多种原因，它不会立即——甚至可能永远不会——将值(value) 1MB 的页面返回给操作系统。)如果你这样做了，那么答案很简单:memory_profiler 正在向操作系统询问您的内存使用情况； guppy 在内部从堆结构中找出它。

除此之外，memory_profiler 还有一个 guppy 没有的功能——自动检测您的函数以在每行代码后打印报告；它在其他方面更简单、更容易，但不太灵活。如果你知道你想做某事而 memory_profiler 似乎没有做，它可能做不到；对于 guppy，也许可以，因此请研究文档和源代码。

Why is one telling me I'm using huge amounts of memory, and the other is telling me I'm not?

很难确定，但这里有一些猜测；答案很可能是不止一个的组合:

也许 samtools 使用 mmap 将足够小的文件完全映射到内存中。这会增加文件大小的页面使用量，但根本不会增加堆使用量。

也许 samtools 或 pysam 会创建大量快速释放的临时对象。你可能有很多碎片(每个页面上只有几个事件的 PyObjects)，或者你的系统的 malloc 可能已经决定它应该在它的空闲列表中保留很多节点，因为你一直在分配的方式，或者它可能没有返回页面到操作系统，或者操作系统的 VM 可能没有回收返回的页面。确切的原因几乎总是不可能猜到的；最简单的做法是假设释放的内存永远不会归还。

What procedure should I use to correctly profile the memory usage of each step of my larger, more complex python program?

如果您要从操作系统的角度询问内存使用情况，memory_profiler 正是您想要的。虽然深入研究 pysam 可能很困难，但用 @profile 装饰器包装一些函数应该是微不足道的。然后你就会知道哪些 C 函数负责内存；如果您想更深入地挖掘，您显然必须在 C 级别进行分析(除非 samtools 文档或 samtools 社区中有信息)。