mongodb - Hadoop 错误 - 无法计算输入拆分 : need to login

Question

我正在尝试 Hadoop 在我的数据中应用 Map Reduce，示例 in this link当我为正确的 mongo.input.uri 配置本地 mongo 集合时工作正常。

但是当我如下所示配置远程 mongo 集合时，

  <property>
    <name>mongo.input.uri</name>
    <value>mongodb://username:password@remote_mongodb_ip:27017/input_collection</value>
  </property>

我得到以下错误

java.lang.IllegalArgumentException: Unable to calculate input splits: need to login

最奇怪的是，如果我为输入表和输出表的远程 mongo 数据库集合使用与上述相同的语法格式。

对此有什么建议吗？

Answer 1

拆分非分片集合需要 splitVector 命令，并且需要管理员凭据。

有几种解决方法:

• 如果集合很小并且您可以在没有多个拆分的并行性的情况下进行处理，则可以通过将 mongo.input.split.create_input_splits 设置为 false 来关闭输入拆分并在单个拆分中一次处理整个集合。
• 如果您可以对集合进行分片，分片上的 block 范围将用作拆分边界。然后不再需要 splitVector 命令，只需要对 block 集合的读取权限。