django - 如何加载太大而无法装入内存的 Django 固定装置？

Question

我希望使用此处描述的装置加载初始数据

https://docs.djangoproject.com/en/dev/howto/initial-data/

对于小数据集来说，这很容易。但是我希望加载一个无法装入内存的大 CSV。我该如何将其序列化为大型 JSON 格式？我是否必须通过手动编写开头“[”和结尾“]”来破解它，或者是否有更清洁的方法可以做到这一点？

Answer 1

我意识到这已经很老了，但我也遇到了同样的问题。

使用这篇文章作为引用:

Using jq how can I split a very large JSON file into multiple files, each a specific quantity of objects?

我将原始的大量 json 对象拆分为单独的对象，每个文件一个，如下所示:

 jq -c '.[]' fixtures/counts_20210517.json | \
 awk '{print > "fixtures/counts_split/doc00" NR ".json";}'      

然后循环遍历文件，在开头和结尾添加方括号，并在该文件上调用manage.py loaddata

for file in fixtures/counts_split/*json; do
    echo "loading ${file}" 
    sed -i '1s/^/[/' $file
    sed -i '1s/$/]/' $file
    manage.py loaddata $file
done