mongodb - Mongoimport:在不中断数据消耗的情况下每晚更新集合

Question

我收藏了大约 625,000 件元素。

每晚通过 cron，我从数据提供商处检索此数据的更新文件 (tsv)，并需要将它们重新导入我的 mongodb。

在不中断正在使用数据的网站/服务及其用户的情况下，执行此操作的最佳方法是什么？ mongoimport --upsert 直接放在集合上是最好的方法吗？就是太慢了。

我是否应该考虑其他涉及我收藏副本的方法？

Answer 1

Is mongoimport --upsert directly on the collection the best way? It's just so slow.

这会起作用，但根据我的经验，mongoimport 缓慢且笨拙。它还有其他一些严重的局限性:无法跟踪进度，没有检查/验证的地方，没有它正在做什么的日志。

Should I be thinking about other methods involving copies of my collection?

此处的替代方法是编写执行此操作的脚本。在大多数语言中，这是非常微不足道的。

这将使您能够跟踪进度和处理不良数据。如果您发现导入速度特别慢，您也可以 fork 流程并拆分工作。

关于速度

请记住，您正在更新 625k 个对象。如果您可以每秒获得 1k 次更新，那还有 10 分钟的更新时间。如果您在导入过程中运行 mongostat 或检查您的监控，您应该了解正在完成多少工作。