mongodb - Hadoop 与 MongoDB 存储

Question

我有一个将 NoSQL DB 与 Hadoop 结合使用并对其进行基准测试的项目。我选择了 MongoDB 作为数据库，但我一直对某些事情感到困惑，并且有一些问题需要澄清:

1. MongoDB 会取代 HDFS 还是它们会协同工作以及如何协同工作？

2. 单独对 MongoDB 进行基准测试与对 Hadoop 进行基准测试有何不同？因为我觉得它们是同一回事。

3. 我找到了用于基准测试的 YCSB 工具。它可以将它们放在一起进行基准测试吗？

4. 我知道 MongoDB 可以在集群上工作，当 monogo 在 Hadoop 之上时，数据将由 MongoDB 或 Hadoop 在节点之间共享吗？

我希望你澄清这些概念并提前感谢你。

Answer 1

Will MongoDB be replacing HDFS

绝对不是。 HDFS 并不意味着用作数据库，Mongo 也不是能够存储 PB 级任何数据的分布式文件系统

will they be working together and how?

HIVe 和 Spark 可以直接从 Mongo 读取数据。我确信还有其他工具可以将 Mongo 备份到 HDFS。

Is benchmarking MongoDB alone different from doing it with Hadoop

是的，读取和写入的调整参数将与 HDFS 大不相同，因为 HDFS 不是数据库

YCSB tool for benchmarking

不清楚您在 Hadoop 中对什么进行基准测试。编写和读取一堆文件(使用和不使用 mapreduce)？查看给定时间在 YARN 中运行了多少个作业？ Hadoop 又不是一个旨在存储简单 JSON blob 的数据库。

when monogo on top of Hadoop , will the data be shared among nodes by MongoDB or by Hadoop?

我从没听说过这个，但也许索引由 Mongo 存储，而原始数据由 HDFS 提供？