mysql - 同时使用 MongoDB 和 MySQL 的 Hadoop 配置

Question

任何人都可以提供从 mongodb 到 rdbs 的示例代码...我已经尝试过，从 mongodb 获取数据并在 mongodb 中输出存储。为此我知道如何在 java 作业中进行 hadoop 配置。

我想知道三件事...

1. 哪个 hadoop 版本同时支持 mongodb 和 rdbs？
2. 是否可以使用多个集合作为输入...？如果可能的话，我们该怎么做？
3. 我在 hadoop 中尝试了 mongodb 查询，它工作正常。但是当我定义排序或限制时......它无法正常工作......即使它没有从 mongodb 获取数据......

Answer 1

1. which hadoop version support both mongodb and rdbs?

我相信所有支持 MongoDB 的 Hadoop 版本也支持 RDBMS(RDBMS 实现早于 MongoDB)。

有关支持与 MongoDB 一起使用的 Hadoop 版本，请参阅:Building the Adapter .检查版本信息，因为某些 Hadoop 版本不支持 Streaming Connector(即，如果您想使用 Python 等非 JVM 语言编写作业)。

2. Is it possible to use multiple collections as input...?
If possible, how we can do that?

MongoDB Hadoop 连接器 v1.0.0 不支持将多个集合作为输入，但社区中有一些人正在致力于此(参见:Feature/multiple inputs)。

3. I tried mongodb query in hadoop,It's working fine. But when i defined
sort or limit... It is not working properly..even it's not fetching data
from mongodb...

您能否举例说明如何/在何处提供这些选项？您指的是 mongo.input.sort 和 mongo.input.limit 属性吗？

您可能想尝试启用 Database Profiler在 MongoDB 中确认正在发送查询:

 db.setProfilingLevel(2)