mongodb - 将外部数据导入 hdfs : is edge node a bottle neck?

Question

我是大数据的新手。我正在尝试将 MongoDB 集合摄取到 hdfs 中，并且可以选择使用 mongoDB java API + HDFS java API，而不是 Spark MongoDB 连接器。

1. 这两种方法有何不同？我检查了 Spark MongoDB 连接器源代码，它也使用 mongoDB java API 写入 mongoDB，但使用 sparkSession 从 mongoDB 读取。

2. 由于在我们的案例中 MongoDB 和 HDFS 集群不同，边缘节点是否充当 MongoDB 和 HDFS 集群之间的暂存区？如果是这样，如果 mongoDB 集合太大，边缘节点会成为瓶颈吗？概括这个问题，当将外部数据源(RDBM、NoSQL 等)摄取到 HDFS 时，边缘节点是否总是暂存区？

3. 第二季度的跟进。有没有办法将 HDFS 数据节点直接连接到 mongoDB 服务器，跳过边缘节点？比如从mongoDB分片分区到HDFS分区。

感谢您的回答!

Answer 1

所以，高级答案

mongoDB java API + HDFS java API, vs Spark MongoDB connector

您需要了解的是，Spark 不仅仅在边缘节点上暂存数据。它并行运行。并行上传数据，假设 Mongo 集合允许这样做。

与自己直接使用 Java API(甚至是集合转储)相比，加上上传，那么是的，边缘节点或其他任何地方都是瓶颈(和单点故障)

一个可以说更好的架构涉及使用 Debezium 将 Mongo 事件作为单独的记录流出，进入 Kafka 主题，然后您可以在事件进入 Kafka 时实时处理它们，可选择清理它们，然后将它们发送到 Hadoop，图数据库、搜索引擎等(此处不需要 Spark)