python - 使用 Python 将 CSV 读/写为二进制文件

Question

我刚刚发现我可以节省空间\加快 CSV 文件的读取速度。

使用我之前问题的答案 How do I create a CSV file from database in Python?

'wb' 表示打开

  w = csv.writer(open(Fn,'wb'),dialect='excel')

我怎样才能打开一个目录中的所有文件并用与起始名称相同的名称保存所有文件并使用“wb”重新格式化所有文件。我想将所有 CSV 转换为二进制 CSV。

Answer 1

您不能“即时覆盖文件”。您有两个选择:

1. 如果文件足够小(比可用 RAM 小一个舒适的边缘)，只需循环它们(os.listdir 使该循环简单，或者 os.walk 如果你想捕获整个子目录树，不仅仅是一个目录)，并且对于每个目录，首先在内存中读取它，然后覆盖磁盘上的副本。

2. 否则，遍历它们，每次写入一个新文件(例如，通过将 .new 附加到名称)，然后将新文件移到旧文件上。这更安全(没有内存不足的风险，没有损坏文件的风险计算机崩溃)但更复杂。

那么，您的情况是什么:足够小的文件(以及用于防止计算机和磁盘崩溃的备份)，在这种情况下，如果您愿意，我可以展示简单的代码；或巨大的多 GB 文件——在这种情况下，它必须是复杂的代码？让我们知道!