mongodb - 带有 mongodb 插件的 hadoop - 读取数据

Question

我知道可以通过 hadoop 从 mongodb 读取和写入数据。

我想知道这个适配器在从 mongodb 集合读取数据时是否使用 mongodb 的 native 驱动程序，所以它使用 mongod 实例或这个适配器直接读取数据集合？

另外，当hadoop读取mongodb的数据以在map reduce中进行处理时，hadoop的这个map reduce不会锁定mongodb的数据收集吗？

换句话说，当hadoop读取mongodb的数据时，hadoop保存这些数据以供hadoop使用，并且hadoop不会干扰mongodb数据，因为当hadoop执行mapreduce时，它会处理mongodb检索的数据，但将内部保存在hadoop进行处理？

Answer 1

使用 mongo-hadoop 插件不会在 Hadoop 中缓存或保存数据。

相反，每个 block 都作为单独的输入拆分读入 Hadoop，以并行化 Hadoop MapReduce 作业。

mongodb 中发生的唯一锁定是轻读锁定，因为数据是从 Mongo 读取的。