python - 在 python 中将列表保存为文件(该文件也应该被其他编程语言接受)

Question

我有一个 int8 数据类型的 3 维列表，我想将它保存到一个 txt 文件中。我如何保存文件，以便将值保存为 int8 而不是字符串，这将减少 txt 文件的大小。我在用 python 做

Answer 1

为了节省空间，您需要以二进制格式存储您的数据。这可以通过 pickle 来实现模块。

例如，让我们以二进制和文本格式保存一个包含 1000 个整数的列表:

>>> from random import randint
>>> import pickle
>>> l = [randint(0, 100000) for i in range(0, 1000)]
>>> bf = open("out.bin", "wb") # binary file
>>> tf = open("out.txt", "w")  # ASCII file
>>> pickle.dump(l, bf, -1) # write file with highest possible protocol (binary)
>>> for i in l:
...     tf.write(str(i) + " ")
>>> bf.close()
>>> tf.close()

二进制文件的权重为 3.7 kb，而文本文件的权重为 5.8 kb:

$ ls -lh out*
-rw-rw-r-- 1 regis regis 3,7K janv. 18 10:16 out.bin
-rw-rw-r-- 1 regis regis 5,8K janv. 18 10:14 out.txt

如果您的目标是减小文件大小并以不同的语言(或不同的操作系统)读回文件，那么有许多解决方案比序列化为二进制格式更有效。您只是遇到文件压缩问题。在 Python 中写入 gzip 压缩文件很容易，而从 gzip 压缩文件中读取是非常标准的，因此您应该找到目标语言的合适库。

以下是将 128*128*128 列表写入 gzip 压缩文件的方法:

l = [randint(0, 100000) for _ in range(0, 128*128*128)]
with gzip.open("out.txt.gz", "w") as tfz:
    tfz.write(" ".join([str(i) for i in l]))

这会生成一个 5.5 Mb 的二进制文件，而 pickle 生成一个 12 Mb 的未压缩文本文件和一个 7.4 Mb 的二进制文件。