python - 是否可以从 Python 对 Mongo 进行非阻塞批量插入？

Question

我必须读取一些来自网络的数据，然后将其插入 MongoDB。所有这些都是使用 Python 脚本完成的。有没有什么方法可以从 Python 对 Mongo 进行非阻塞插入，这样我就可以在 Mongo 服务器处理插入的同时继续处理通过网络传来的数据？

Answer 1

是的。存在三种可能:

1. 执行未确认的插入:collection.insert(documents, w=0)。一旦数据被写入套接字的输出缓冲区，对 insert() 的调用就会返回，并且您的代码不会阻塞等待来自 MongoDB 的确认。您不会向您的应用程序报告任何错误。有关写入问题的更多信息 here和 here .
2. 将文件批处理添加到 Queue ，并在一个单独的线程中从队列中弹出并插入到 MongoDB 中:collection.insert(q.get())。
3. 按照 James Mills 的建议将您的应用移植到 Tornado 和 Motor；这似乎需要三者中最多的学习，而且可能有点矫枉过正。