python - Pandas 可以同时写入同一个 CSV 文件吗？

Question

我错误地同时运行了两个脚本，将 pandas 数据帧分块写入同一个 CSV 文件。由于应该附加 CSV 文件，因此脚本本身不会阻止写入 CSV 文件(如果它已经存在)。直到为时已晚，我才发现它。

有点像这样:

script1.py

for i, chunk in enumerate(datachunks):
       do something
       result_df.to_csv('csvfile.csv') (in write mode for the 1st chunk, append mode for the next chunks)

script2.py

for i, chunk in enumerate(datachunks2):
       do something
       result_df.to_csv('csvfile.csv') (in write mode for the 1st chunk, append mode for the next chunks)
       # should have been csvfile2.csv

由于必须处理的数据量巨大，每个脚本执行大约需要 12 小时，而且我认为将 CSV 文件分成两部分会更快，这样我就可以获得每个 脚本应该已经给出。这应该有效——除非我在文件中有意外的重复，或者甚至没有写的行。

如果相关的话，两个脚本都已完成且没有任何错误。

此 csvfile.csv 中是否存在重复/缺失数据的可能性？

Answer 1

我决定重新运行脚本并比较输出。看起来不太乐观——我丢失了很多行。