python - 共享文件写入时的交错输出

Question

我有一个长时间运行的 python 程序，在共享文件上执行“追加”写入(多进程):

out = open("shared_file", "a")
while has_input:
     do_processing()
     out.write("%s, %s, %s\n" % field1, field2, field3)

上面的伪代码是用 8 个进程运行的。这将导致一小部分交错输出。根据谷歌搜索，这似乎与缓冲区相关。执行共享文件追加的正确方法是什么？

Answer 1

Question: What's the proper way of doing shared file append?

1. 使用一个作家Process ，仅将数据写入/追加到文件中。

2. 与其他进程共享工作负载。

3. 使用Queue将要附加的数据从工作负载进程传递到编写器进程。

阅读此答案:python-multiprocessing-write-to-same-excel-file