python - 是否有可能将 pandas/numpy 行中的所有列转换为字节数组？

Question

我需要将 pandas/numpy 数组的每一行转换为 1 个新列。我需要最快的方法。我试图找到一种方法来提取整行作为字节数组，但找不到任何选项，无需迭代所有列，将每个列值转换为字节并连接。

在函数 row_to_bytes 中，我使用 hashlib 库和 md5 函数，但不需要加密。我应该用 C/C++ 实现它还是有一些我可以使用的库？

现在，这是我拥有的最好的方法，但它非常慢(我有一个包含 500 万条记录和 40 个属性的表)。

hashed = df.apply(lambda row: self.row_to_bytes(row), axis=1)

感谢您的每一个建议。

<小时/>

我创建了测试代码:

import pandas as pd  
import numpy as np  
df = pd.DataFrame([["1",1],["2",2]])  
x = df.values  

def compute(x):  
    dtype = np.dtype('S{:d}'.format(x.shape[1] * x.dtype.itemsize))  
    y = np.frombuffer(x.tobytes(), dtype=dtype)  
    print(y)  
compute(x)  

当我在命令行中运行代码多次时，我收到不同的结果:

python test.py
[b'\xb0\x8a\xbb\x8c\xf3\x01\x00\x000\x80og'
 b'p%\xc1\x8c\xf3\x01\x00\x00P\x80og'] 

python test.py     
[b'\xb0\x8aCr,\x02\x00\x000\x80og' b'p%^r,\x02\x00\x00P\x80og'] 

python test.py
[b'\xb0\x8a"\xb7\xc9\x01\x00\x000\x80og' b'p%=\xb7\xc9\x01\x00\x00P\x80og'] 

什么会导致另一个问题？

Answer 1

无需循环。由于您需要每行的字节，并且数组是行主的，因此它们在内存中布局的字节正是您在数组的每个元素中想要的字节，只是分块不同。根据定义，这是对结果数组的 reshape 。你可以这样做:

>>> x = np.arange(1000 * 2).reshape(100, 2)
>>> dtype = np.dtype('S{:d}'.format(x.shape[1] * x.dtype.itemsize))
>>> y = np.frombuffer(x.tobytes(), dtype=dtype)
>>> print(y[:5])
[b'\x00\x00\x00\x00\x00\x00\x00\x00\x01'
b'\x02\x00\x00\x00\x00\x00\x00\x00\x03'
b'\x04\x00\x00\x00\x00\x00\x00\x00\x05'
b'\x06\x00\x00\x00\x00\x00\x00\x00\x07'
b'\x08\x00\x00\x00\x00\x00\x00\x00\t']

这将整个底层缓冲区重新解释为字节串。每个这样的字节串(dtype)的长度等于每行中的字节数。

还有许多其他基于循环的方法可以做到这一点，但其中一种是使用np.fromiter。然而，我的第一个解决方案比这个快几个数量级，通过使用 IPython 的 timeit 魔术函数可以看出:

In [32]: %timeit np.frombuffer(x.tobytes(), dtype='S16')
2.8 µs ± 318 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

In [33]: %timeit np.fromiter((row.tobytes() for row in x), dtype='S16')
614 µs ± 18.8 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)