python - Python 中 Bytearray 和 List 的区别

Question

我很想知道 Python 中 Bytearray 和列表​​之间的内存管理有何不同。

我发现了一些问题，例如 Difference between bytearray and list但不完全回答我的问题。

我的问题正是...

from array import array
>>> x = array("B", (1,2,3,4))
>>> x.__sizeof__()
36
>>> y = bytearray((1,2,3,4))
>>> y.__sizeof__()
32
>>> z = [1,2,3,4]
>>> z.__sizeof__()
36

正如我们所见，list/array.array(4 个元素为 36 字节)和字节数组(4 个元素为 32 字节)之间存在大小差异。有人可以向我解释这是为什么吗？对于字节数组来说，它占用 32 字节的内存对于 4 元素 ( 4 * 8 == 32 ) 是有意义的，但是如何这被解释为列表和 array.array？

# Lets take the case of bytearray ( which makes more sense to me at least :p)
for i in y:
        print(i, ": ", id(i))

1 :  499962320
2 :  499962336 #diff is 16 units
3 :  499962352 #diff is 16 units
4 :  499962368 #diff is 16 units

当每个元素仅占用 8 字节时，为什么两个连续元素之间的差异在这里相差 16 个单位。这是否意味着每个内存地址指针都指向一个半字节？

此外，整数的内存分配标准是什么？我读到 Python 会根据整数的值分配更多的内存(如果我错了请纠正我)，比如数字越大，内存越多。

例如:

>>> y = 10
>>> y.__sizeof__()
14
>>> y = 1000000
>>> y.__sizeof__()
16
>>> y = 10000000000000
>>> y.__sizeof__()
18

Python分配内存的标准是什么？

为什么 Python 占用这么多内存而 C 只占用 8 个字节(我的是 64 位机器)？当它们完全在整数范围内时 (2 ** 64) ?

元数据:

Python 版本: '3.4.3(v3.4.3:9b73f1c3e601，2015 年 2 月 24 日，22:43:06)[MSC v.1600 32 位(英特尔)]'

机器结构:64 位

P.S:请指导我阅读一篇更好地解释 Python 内存管理的好文章。我花了将近一个小时来弄清楚这些事情，最后在 SO 中问了这个问题。 :(

Answer 1

我并不是说这是完整的答案，但有一些提示可以帮助您理解这一点。

bytearray 是一个字节序列，list 是一个对象引用序列。所以 [1,2,3] 实际上保存了指向那些存储在其他地方的内存中的整数的内存指针。要计算列表结构的总内存消耗，我们可以这样做(我在任何地方都使用 sys.getsizeof，它调用 __sizeof__ 加上 GC 开销)

>>> x = [1,2,3]
>>> sum(map(getsizeof, x)) + getsizeof(x)
172

在不同的机器上结果可能不同。

另外，看看这个:

>> getsizeof([])
64

那是因为列表是可变的。为了快速，这个结构分配了一些内存 range 来存储对对象的引用(加上一些元存储，例如列表的长度)。当您附加项目时，下一个内存单元将填充对这些项目的引用。当没有空间存储新项目时，分配新的、更大的范围，将现有数据复制到那里并释放旧数据。这称为动态数组。

您可以通过运行这段代码来观察这种行为。

import sys 
data=[]
n=15
for k in range(n):
    a = len(data)
    b = sys.getsizeof(data)
    print('Length: {0:3d}; Size in bytes: {1:4d}'.format(a, b))
    data.append(None)

我的结果:

Length:   0; Size in bytes:   64 
Length:   1; Size in bytes:   96
Length:   2; Size in bytes:   96 
Length:   3; Size in bytes:   96
Length:   4; Size in bytes:   96 
Length:   5; Size in bytes:  128
Length:   6; Size in bytes:  128 
Length:   7; Size in bytes:  128
Length:   8; Size in bytes:  128 
Length:   9; Size in bytes:  192
Length:  10; Size in bytes:  192 
Length:  11; Size in bytes:  192
Length:  12; Size in bytes:  192 
Length:  13; Size in bytes:  192
Length:  14; Size in bytes:  192

我们可以看到有64个字节用于存储8个内存地址(每个64位)。

几乎与 bytearray() 相同(将第二行更改为 data = bytearray() 并在最后一行附加 1)。

Length:   0; Size in bytes:   56
Length:   1; Size in bytes:   58
Length:   2; Size in bytes:   61
Length:   3; Size in bytes:   61
Length:   4; Size in bytes:   63
Length:   5; Size in bytes:   63
Length:   6; Size in bytes:   65
Length:   7; Size in bytes:   65
Length:   8; Size in bytes:   68
Length:   9; Size in bytes:   68
Length:  10; Size in bytes:   68
Length:  11; Size in bytes:   74
Length:  12; Size in bytes:   74
Length:  13; Size in bytes:   74
Length:  14; Size in bytes:   74

区别在于内存现在用于保存实际的字节值，而不是指针。

希望能帮助您进一步调查。