mongodb - 如何在 MongoDB 批量插入期间从错误中恢复

Question

我正在使用 MongoDB 创建一个 Web 应用程序。现在我正在创建管理页面，使管理员能够在网站上添加或删除项目。页面将新增批量导入功能，可以从本地CSV文件中导入内容。问题是如何实现该功能。

最简单的方法是将上传的 CSV 文件转换为 JSON，然后使用 db.items.insert([{...}, {...}, ...]) 插入它们声明。

如果db.getLastError()返回null，导入成功。没有问题。

但是，如果批量插入时出现错误怎么办？因为没有事务，插入的项不能回滚。因此，重试插入将导致重复的文档。

解决这个问题的最佳方法是什么？

Answer 1

在 MongoDB 2.4 中，如果 bulk insert 中的任何文档出现错误，您只会得到最后一个异常。 .

失败回滚

如果您想对批量插入使用事务性方法(即所有插入都必须成功，否则将回滚批处理)，那么您应该在插入的文档中包含一个标识字段，如 batch_id。如果出现任何故障，您可以删除从该批处理中插入的任何文档并适本地处理错误(重试或失败)。

批量插入方法

如果您不插入分片集群:

• 将 ContinueOnError 标志设置为 false 以确保批量插入在出现第一个错误时停止
• 处理异常并决定是回滚批处理还是从导致异常的文档之后的文档开始重新插入

如果您正在插入分片集群:

• ContinueOnError 标志当前始终设置为 true
• 如果出现错误，您将不得不遍历该批处理中的文档并尝试分别插入(或 upsert)它们，以便您可以捕获并处理任何特定的异常。
• 另请参阅:Strategies for Bulk Inserts to a Sharded Collection .