python - 将 CSV 文件导入 MongoDB 时，文件大小要求是否会发生变化？

Question

背景:

我正在尝试关注 tutorial我正在其中导入一个大约 324MB 的 CSV 文件

MongoLab 的沙箱计划(上限为 500MB)，通过 Python 3.4 中的 pymongo。

该文件包含约 770,000 条记录，插入后约 164,000 条我达到了配额并收到:

raise OperationFailure(error.get("errmsg"), error.get("code"), error)

OperationFailure: quota exceeded 

问题:

NoSQL 的类 JSON 结构需要更多空间来保存与 CSV 文件相同的数据是否准确？或者我在这里做了什么古怪的事？

更多信息:

以下是数据库指标:

这是我使用的 Python 3.4 代码:

import sys
import pymongo
import csv


MONGODB_URI = '***credentials removed***'


def main(args):

    client = pymongo.MongoClient(MONGODB_URI)

    db = client.get_default_database()

    projects = db['projects']

    with open('opendata_projects.csv') as f:
        records = csv.DictReader(f)
        projects.insert(records)

    client.close()


if __name__ == '__main__':
    main(sys.argv[1:])

Answer 1

是的，JSON 比 CSV 占用更多空间。这是一个例子:

name,age,job
Joe,35,manager
Fred,47,CEO
Bob,23,intern
Edgar,29,worker

转换为 JSON，它将是:

[
    {
        "name": "Joe",
        "age": 35,
        "job": "manager"
    },
    {
        "name": "Fred",
        "age": 47,
        "job": "CEO"
    },
    {
        "name": "Bob",
        "age": 23,
        "job": "intern"
    },
    {
        "name": "Edgar",
        "age": 29,
        "job": "worker"
    }
]

即使删除所有空格，JSON 也有 158 个字符，而 CSV 只有 69 个字符。