Python - 将 x 行 csv 文件写入 json 文件

Question

我有一个 csv 文件，我需要将其写入 json 文件，每行 1000 行。csv 文件大约有 9,000 行，因此理想情况下，我希望最终得到 9 个独立的连续数据 json 文件。

我知道如何将 csv 文件写入 json - 我一直在做的事情:

csvfile = open("C:\\Users\Me\Desktop\data\data.csv", 'r', encoding="utf8")

reader = csv.DictReader(csvfile, delimiter = ",")
out = json.dumps( [ row for row in reader ] )

with open("C:\\Users\Me\Desktop\data\data.json", 'w') as f:
f.write(out)

效果很好。但我需要 json 文件是 9 个拆分文件。现在，我假设我会:

1) 尝试计数行并在达到 1,000 时停止

2) 将 csv 文件写入单个 json 文件，然后打开 json 并尝试以某种方式拆分它。

我完全不知道如何完成这个 - 任何帮助表示赞赏!

Answer 1

将整个 CSV 文件读入列表或行，然后将长度为 1000 的切片写入 JSON 文件。

import csv
import json

input_file = 'C:\\Users\\Me\\Desktop\\data\\data.csv'
output_file_template = 'C:\\Users\\Me\\Desktop\\data\\data_{}.json'

with open(input_file, 'r', encoding='utf8') as csvfile:
    reader = csv.DictReader(csvfile, delimiter=',')
    rows = list(reader)

for i in range(len(rows) // 1000):
    out = json.dumps(rows[1000*i:1000*(i+1)])
    with open(output_file_template.format(i), 'w') as f:
        f.write(out)