对于大型 json 文件，mongoimport 非常非常慢

Question

我有一个很大的 json 文件 (350GB)，我正在尝试使用 mongoimport 将它导入到 MongoDB 集合中。mongoimport 非常非常慢，我不确定需要多少天。

任何人都可以建议将此 json 文件加载到 mongodb 集合的最佳方法。我有足够的磁盘空间来加载这个 json 文件。

Answer 1

我遇到过类似的情况。我使用 mongorestore 而不是 mongoimport 但想法是一样的。 iotop 显示恢复过程的 IO 速率约为 1M/s，非常低。作为other post here suggests ，低性能可能是由于 json 到 bson 序列化。所以我结束了使用以下命令将导出的 json 文件拆分成不同的 block

mongodump --host < host > --port < port > --username < user > --password < pwd > --authenticateionDatabase admin --db < db > --collection < coll > --query "{DayOfWeek:"Monday"}" --out "SomeDir-Monday" &

mongodump --host < host > --port < port > --username < user > --password < pwd > --authenticateionDatabase admin --db < db > --collection < coll > --query "{DayOfWeek:"Tuesday"}" --out "SomeDir-Tuesday" &

...

然后我最终得到了 7 个 block 。最后通过以下命令使用 mongorestore 并行导入这些 block 。

mongorestore --host < host > --port < port > --username < user > --password < pwd > --authenticateionDatabase admin --db < db > --collection < coll > PATH_TO_MONDAY.json &

mongorestore --host < host > --port < port > --username < user > --password < pwd > --authenticateionDatabase admin --db < db > --collection < coll > PATH_TO_TUESDAY.json &
...