ruby-on-rails - 将大型数据集导入 MongoDB 的最佳实践是什么？

Question

我们刚刚对 MongoDB 进行了测试运行，并已使用 Mongoid 设置了一个 Rails 3 应用程序。将大型数据集插入 MongoDB 的最佳实践是什么？充实一个场景:比方说，我有一个书籍模型，想从 CSV 文件中导入几百万条记录。

我想这需要在控制台中完成，所以这可能不是特定于 Ruby 的问题。

编辑添加:我认为导入的数据是否包含关联或应该只进入一个模型会产生巨大的差异。欢迎对任何一种情况发表评论。

Answer 1

MongoDB 带有解析 JSON 格式数据的导入/导出工具。

假设您有一个现有的 SQL 数据库，迁移该数据的最简单方法是将您的 SQL 数据输出为 JSON 字符串，然后对每个集合使用导入工具。

这包括非规范化和嵌套/嵌入 - 所以不要将关系模型迁移到 MongoDB，您还应该考虑重构数据模型以利用 MongoDB 的功能。

例如，一个常见的任务是将文章和标签合并到一个文章集合中，并将标签作为数组嵌入。在你的导出脚本中这样做，所以所有 MongoDB 看到的都是通过导入传入的干净的 JSON :-)

您仍然可以将所有表作为集合导入，但这样做会错失 MongoDB 的一些真正优势。