hadoop - 使用 hadoop + mapreduce 在 couchdb 中处理数据

Question

我在 CouchDB 中有非常大量的数据，但我最近发现 couch 中的 mapreduce 函数有多么严重(没有链接)。

所以我有了使用 Hadoop 从 CouchDB 数据库运行 map reduce 查询的想法，并希望将最终结果存储在另一个 CouchDB 数据库中？

这也太疯狂了吧？我知道我可以设置 Hbase 来执行此操作，但我不想将我的数据从 CouchDB 迁移到 Hbase。我喜欢沙发作为数据存储。

Answer 1

显然 CouchDB 应该能够将数据流式传输到 Hadoop via Sqoop ，但除了该链接，我没有看到任何其他信息。最坏的情况是，您可以编写自己的输入读取器来从 CouchDB 读取数据，或者定期导出数据并将其放到 HDFS 上并从那里运行。