mongodb - 使用多个主机配置 mongodb Spark 连接器

Question

是否有一种方法可以在 SparkConf 中指定多个 MongoDB 主机？文档 ( https://docs.mongodb.com/spark-connector/v1.1/configuration/ ) 中的示例似乎表明不可以。

spark.mongodb.output.uri=mongodb://127.0.0.1/
spark.mongodb.output.database=test
spark.mongodb.output.collection=myCollection

Answer 1

spark.mongodb.input.uri 和 spark.mongodb.output.uri 接受 MongoDB Connection URI format 。

连接 URI 格式应适用于所有 MongoDB 支持的驱动程序，包括 Spark 的 MongoDB Scala 驱动程序。例如，为了连接到副本集，您可以指定:

mongodb://db1.example.net,db2.example.net:2500/?replicaSet=myReplica