mongodb - hadoop 与 mongodb 和 hadoop vs mongodb

Question

我正在尝试了解 mongoDB 和 Hadoop 之间的主要区别。我理解mongoDB是一个数据库，而Hadoop是一个包含HDFS的生态系统。使用这两种技术处理数据的方式有一些相似之处，但也存在重大差异。

我很困惑为什么有人会在 Hadoop 集群上使用 mongoDB，主要是 mongoDB 相对于 Hadoop 有哪些优势。两者都执行并行处理，都可以与 Spark 一起使用以进行进一步的数据分析，那么一个比另一个增加的值(value)是什么。

现在，如果要将两者结合起来，为什么要将数据存储在 mongoDB 和 HDFS 中？ MongoDB 有 map/reduce，那你为什么要将数据发送到 hadoop 进行处理，而且两者都与 Spark 兼容。

Answer 1

首先让我们看看我们在说什么

• Hadoop - 一个生态系统。两个主要组件是 HDFS 和 MapReduce。
• MongoDB - 文档类型 NoSQL 数据库。

让我们在两种类型的工作负载上比较它们

1. 高延迟高吞吐量(批处理)- 处理如何处理和分析大量数据的问题。处理将以并行和分布式方式进行，以便以最有效的方式最终确定和检索结果。 Hadoop 是处理此类问题的最佳方式，跨多个服务器以分布式和并行的方式管理和处理数据。

2. 低延迟和低吞吐量(立即访问数据、实时结果、大量用户)- 当需要以最快的方式显示即时结果时，或者对多个并发用户进行小型并行处理，从而产生 NRT 结果，NoSQL 数据库将是最好的方法。

堆栈中的一个简单示例是使用 Hadoop 来处理和分析大量数据，然后将最终结果存储在 MongoDB 中，以便您:

1. 以最快的方式访问它们
2. 现在对它们进行小规模的再加工

最重要的是，您不应该将 Hadoop 和 MongoDB 视为竞争对手，因为每个人都有自己的最佳用例和数据处理方法，它们在您的数据工作中相互补充和完善。

希望这是有道理的。