python - 在 Python 中将一个巨大的 CSV 拆分为三个随机文件

Question

已关闭。此问题不符合 Stack Overflow guidelines 。目前不接受答案。

---

这个问题似乎偏离主题，因为它缺乏足够的信息来诊断问题。 更详细地描述您的问题或 include a minimal example在问题本身。

已关闭 9 年前。

Improve this question

我有一个巨大的 CSV，我想将其拆分为 3 个大小几乎*相等的随机文件。

*几乎:大小不能被3整除

我正在考虑创建 3 个空白列表，然后在 for 循环中，我会在 range(0,len(mycsv)) 之间随机选择一个数字。并将其附加到每个列表中。然后，我将使用第一个列表中的文件创建一个 csv 并继续。但我认为这会足够慢。有没有比我自己的内置方法或更简单的方法？

Answer 1

对于 csv 的每一行，将此行随机插入到三个空白 csv 文件之一中。对于 100.000 行，应该不会花很长时间。

import random

with open("mycsv.csv") as fr:
    with open("1.csv", "w") as f1, open("2.csv", "w") as f2, open("3.csv", "w") as f3:
        for line in fr:
            f = random.choice([f1, f2, f3])
            f.write(line)