java - Hadoop 与 MongoDB 概念

Question

大家好，我是 Hadoop 和 NoSQL 技术的新手。我开始通过读取存储在 HDFS 中的文件并处理它来学习 world-count 程序。现在我想将 Hadoop 与 MongoDB 一起使用。从 here 开始程序.

现在这里让我感到困惑的是，它将 mongodb 数据存储在我的本地文件系统上，并在 map/reduce 中从本地文件系统读取数据到 HDFS，然后再次将其写入 mongodb 本地文件系统。我学习HBase的时候，我们可以配置它把它的数据存储在HDFS上，而hadoop可以直接在HDFS上处理(map/reduce)。如何配置 mongodb 以将其数据存储在 HDFS 上。

我认为将数据存储在 HDFS 中以进行快速处理是更好的方法。不在本地文件系统中。我对吗？如果我走错了方向，请澄清我的概念。

Answer 1

MongoDB 不是为在 HDFS 之上工作而构建的，它也不是真正必要的，因为 Mongo 已经有自己的水平扩展和处理跨多台机器存储的数据的方法。

如果您需要使用 MongoDB 和 Hadoop，更好的方法是使用 MongoDB 作为数据源，但在 Hadoop 中处理所有内容(它将使用 HDFS 进行任何临时存储)。处理完数据后，您可以将其写回 MongoDB、S3 或任何您想要的地方。

我写了一篇博文，在此处详细介绍了如何使用 Mongo 和 Hadoop:http://blog.mortardata.com/post/43080668046/mongodb-hadoop-why-how