python - 如何获取Numba字典的大小？

Question

我正在尝试以字节为单位获取 Numba 类型字典的大小:

from numba import njit
from numba.typed import Dict
from sys import getsizeof as gso
@njit
def get_dict(n):
    d = {0:0}
    for i in range(1,n):
        d[i] = i
    return d

print(gso(get_dict(10))
print(gso(get_dict(10000)))

在这两种情况下，getsizeof 函数都返回 64 字节。显然，Dictionary 的大小必须取决于长度。

如果我使用 将类型化字典转换为原生 Python 字典dict() ，它工作并返回 376 和 295016:

print(gso(dict(get_dict(10))))
print(gso(dict(get_dict(10000))))

我该如何衡量？

Answer 1

当前(numba 0.46.0)您打算做的事情很可能无法使用 DictType .
sys.getsizeof 关于容器 充其量是棘手的，在最坏的情况下非常具有误导性。问题是getsizeof需要将可能非常复杂的实现细节减少到一个整数。

第一个问题是拨打sys.getsizeof在容器上通常只报告容器的大小而不是容器的内容 - 或者在不透明容器的情况下它只返回包装器的大小。你遇到的是后者- DictType只是在 c 中(可能)定义的不透明 numba 结构的包装器.所以64你看到的实际上是正确的，那就是 wrapper 的大小。您可能可以访问包装类型，但鉴于它隐藏在私有(private)属性后面，它不适用于非 numba 代码，所以我不会走这条路 - 主要是因为任何依赖于这些实现细节的答案可能已经过时随时。

然而sys.getsizeof需要深入理解实现细节才能正确解释。所以即使是普通的 dict这个数字代表什么并不明显。它当然是以容器的字节数计算的内存(不含内容)，但它也可能是一个 key 共享字典(在您的情况下它不是一个 key 共享字典)，其中数字是准确的，但由于是 key 的一部分-共享字典已共享，这可能不是您要查找的号码。如前所述，它通常也不考虑容器的内容，但这也是一个实现细节，例如 numpy.array包括内容的大小，而 list , set等不要。那是因为 numpy 数组没有“真实内容”——至少它没有 Python 对象作为内容。

所以即使DictType包装器会报告底层字典的大小，你仍然需要知道它是否包含字典中的内容，或者作为指向 Python 对象的指针，或者(甚至更复杂)作为用另一种语言(如 C 或 C++)定义的对象正确解释结果。

所以我的建议是 不是 使用 sys.getsizeof ，除非出于好奇或学术兴趣。然后，只有当您愿意深入研究所有实现细节(可能随时更改也可能不会更改)以正确解释结果时。如果你真的对内存消耗感兴趣，你通常最好使用一个工具来跟踪整个程序的内存使用情况。这仍然有很多陷阱(内存重用、未使用的内存分配)并且需要大量知识如何正确使用内存(虚拟内存、共享内存以及如何分配内存)，但它通常会产生更多实际查看您的程序实际使用了多少内存。

import gc
import numba as nb
import psutil

@nb.njit
def get_dict(n):
    d = {0:0}
    for i in range(1,n):
        d[i] = i
    return d

get_dict(1)

gc.collect()
print(psutil.Process().memory_info())
d = get_dict(100_000)
gc.collect()
print(psutil.Process().memory_info())

这在我的电脑上给出:

pmem(rss=120696832, vms=100913152, num_page_faults=34254, peak_wset=120700928,
     wset=120696832, peak_paged_pool=724280, paged_pool=724280, peak_nonpaged_pool=1255376,
     nonpaged_pool=110224, pagefile=100913152, peak_pagefile=100913152, private=100913152)

pmem(rss=126820352, vms=107073536, num_page_faults=36717, peak_wset=129449984, 
     wset=126820352, peak_paged_pool=724280, paged_pool=724280, peak_nonpaged_pool=1255376, 
     nonpaged_pool=110216, pagefile=107073536, peak_pagefile=109703168, private=107073536)

说明程序需要 6 123 520调用后的内存字节(使用 "rss" - 常驻集大小)比之前分配的多。

与普通 Python 字典类似:

import gc
import psutil

gc.collect()
print(psutil.Process().memory_info())
d = {i: i for i in range(100_000)}
gc.collect()
print(psutil.Process().memory_info())
del d
gc.collect()

这给出了 8 552 448 的差异字节在我的电脑上。

请注意，这些数字代表了完整的过程，因此请谨慎对待。例如对于小值( get_dict(10) )，它们返回 4096在我的 Windows 计算机上，因为这是 Windows 的页面大小。由于操作系统的限制，那里的程序实际上分配了比字典需要的更多的空间。

然而，即使有这些陷阱和限制，如果您对程序的内存要求感兴趣，那仍然会更加准确。

如果您仍然(出于好奇)想知道 DictType 有多少内存理论上需要，您可能应该要求 numba 开发人员增强 numba，以便他们实现 __sizeof__用于他们的 Python 包装器，以便数字更具代表性。例如，您可以 open an issue on their issue tracker或 ask on their mailing list .

另一种方法是使用其他第三方工具，例如 pypmler ，但我自己没有使用过这些，所以我不知道它们在这种情况下是否有效。