json - 将 JSON 拆分为多个文件

Question

我有从 mongodb 导出的 json 文件，它看起来像:

{"_id":"99919","city":"THORNE BAY"}
{"_id":"99921","city":"CRAIG"}
{"_id":"99922","city":"HYDABURG"}
{"_id":"99923","city":"HYDER"}

大约有 30000 行，我想将每一行拆分成它自己的 .json文件。 (我正在尝试将我的数据传输到 couchbase 集群上)

我试过这样做:

cat cities.json | jq -c -M '.' | \
while read line; do echo $line > .chunks/cities_$(date +%s%N).json; done

但我发现它似乎减少了大量的行，并且当我期望 30000 个奇数时，运行此命令的输出只给了我 50 个奇数文件!!

有没有一种合乎逻辑的方法可以使用任何适合的东西来使它不丢弃任何数据？

Answer 1

假设您不关心确切的文件名，如果您想将输入拆分为多个文件，只需使用 split .

jq -c . < cities.json | split -l 1 --additional-suffix=.json - .chunks/cities_