python - 在 python 中写入二进制输出最有效的方法是什么？

Question

我有这个 list

bytes = ['11010001', '00100111']

我想将bytes的内容作为一个字节写入我自己的二进制文件中。因此，我迭代列表中的每个元素，将其从字符串转换为二进制，然后将其作为该二进制组合表示的字符写入文件中。

output = open(location+filename + '.enchuff', 'wb')
for byte in bytes:
   chunk = int(byte, base=2)
   output.write(chr(chunk))

它工作得很好，但问题是当bytes列表变大时。我从另一个文件生成它，当我输入一个 100MB 的文件供其读取时，列表变得非常长，并且我的程序卡在 for 循环上。我猜想 for 循环一定是问题所在，因为它可能会迭代超过数十万个元素并写下其中的每一个元素。而且我的内存消耗从那时起甚至跃升至 4GB 内存。有没有其他方法可以更快地实现这一目标并保留宝贵的 RAM？

Answer 1

您的代码可能效率低下，因为您正在对流中的每个字节执行写入操作。虽然写入可能会被缓冲，但这发生在较低级别，每次迭代都会产生相当多的开销。

您可以改为转换内存中的字节流，然后将其写入流，例如:

data = [chr(int(x, base=2)) for x in bytes]
output.write(''.join(data))

如果内存消耗是一个问题，您可以将转换后的字节写入 block 中，例如:

chunksize = 1024
for c in range(0,len(bytes),chunksize):
   data = [chr(int(x, base=2)) for x in bytes[c:c+chunksize]]
   output.write(''.join(data))