python - 将可变大小的字节数组转换为整数/长整数

Question

如何将(大端)可变大小的二进制字节数组转换为(无符号)整数/长整数？比如'\x11\x34'，代表4404

现在，我正在使用

def bytes_to_int(bytes):
  return int(bytes.encode('hex'), 16)

它很小并且有点可读，但可能不是很有效。有没有更好(更明显)的方法？

Answer 1

传统上，对于 C 而言太大的“大端 C 布局中的数字”，Python 没有太多用处。(如果您要处理 2 字节、4 字节或 8 字节的数字，那么struct.unpack 就是答案。)

但是有足够多的人厌倦了没有一种明显的方法来做到这一点，Python 3.2 添加了一个方法 int.from_bytes这正是你想要的:

int.from_bytes(b, byteorder='big', signed=False)

不幸的是，如果您使用的是旧版本的 Python，则没有此功能。那么，您有哪些选择？ (除了显而易见的:更新到 3.2，或者更好的是 3.4……)

---

首先，这是您的代码。我认为 binascii.hexlify 是比 .encode('hex') 更好的拼写方式，因为“encode”对于字节上的方法来说总是有点奇怪字符串(与 Unicode 字符串相反)，实际上它已在 Python 3 中被淘汰。但除此之外，它对我来说似乎非常易读和明显。它应该很快——是的，它必须创建一个中间字符串，但它在 C 中(至少在 CPython 中)执行所有循环和算术运算，这通常比 Python 快一两个数量级。除非您的 bytearray 太大以至于分配字符串本身会很昂贵，否则我不会担心这里的性能。

或者，您可以循环执行。但这会更冗长，至少在 CPython 中会慢很多。

你可以尝试为一个隐式循环消除显式循环，但这样做的明显功能是 reduce，它被社区的一部分认为是非 Pythonic——当然它会继续要求为每个字节调用一个函数。

您可以展开循环或 reduce，方法是将其分解为 8 个字节的 block 并在 struct.unpack_from 上循环，或者只需执行一个大的 struct。 unpack('Q'*len(b)//8 + 'B' * len(b)%8) 并循环遍历它，但这使得它的可读性降低了很多，并且可能没有那么快。

您可以使用 NumPy……但如果您要大于 64 位或 128 位，它最终会将所有内容都转换为 Python 对象。

所以，我认为你的答案是最好的选择。

---

以下是与最明显的手动转换相比的一些时间安排:

import binascii
import functools
import numpy as np

def hexint(b):
    return int(binascii.hexlify(b), 16)

def loop1(b):
    def f(x, y): return (x<<8)|y
    return functools.reduce(f, b, 0)

def loop2(b):
    x = 0
    for c in b:
        x <<= 8
        x |= c
    return x

def numpily(b):
    n = np.array(list(b))
    p = 1 << np.arange(len(b)-1, -1, -1, dtype=object)
    return np.sum(n * p)

---

In [226]: b = bytearray(range(256))

In [227]: %timeit hexint(b)
1000000 loops, best of 3: 1.8 µs per loop

In [228]: %timeit loop1(b)
10000 loops, best of 3: 57.7 µs per loop

In [229]: %timeit loop2(b)
10000 loops, best of 3: 46.4 µs per loop

In [283]: %timeit numpily(b)
10000 loops, best of 3: 88.5 µs per loop

为了在 Python 3.4 中进行比较:

In [17]: %timeit hexint(b)
1000000 loops, best of 3: 1.69 µs per loop

In [17]: %timeit int.from_bytes(b, byteorder='big', signed=False)
1000000 loops, best of 3: 1.42 µs per loop

所以，你的方法还是挺快的……