python/pandas - 存储二进制列表

Question

有谁知道在 Pandas 中存储二进制列表/数组的最有效方法是什么？

我有一个巨大的集合(超过 500 万个)256 位二进制哈希码，我想创建和存储它们，每个哈希码都创建为 bool numpy 数组。

现在，我正在将二进制代码转换为类似“0101010100...”的字符串，并将哈希值存储在 pandas df 的一列中；然而，在读取文件时，从该字符串转换回 bool 数组的操作非常耗时，因此我希望通过找出更好的方法将项目存储在数据框中来优化它。

提前致谢。

Answer 1

您可以将每个数字保存到数据帧的单独列中，这样您就不需要执行任何操作来转换格式，底层的 numpy 数组已经是您想要的 bool 数组:

hash1 = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1]
hash2 = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1]

df = pd.DataFrame([hash1, hash2], dtype=bool)

df.iloc[0].values
array([False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False, False, False, False, False, False,
       False, False, False, False,  True], dtype=bool)