MongoDB 和 Apache Spark 投影

Question

将 MongoDB 集合拉入 Apache Spark/Hadoop 时，是否可以通过 MongoInputFormat 进行投影以减少返回数据集的大小？

Answer 1

是的，您可以在配置 MongoDB Hadoop 连接器时指定 mongo.input.fields 选项:

val config = new Configuration()
config.set("mongo.input.uri", [Your URI])
config.set("mongo.input.query", [Your Query])
config.set("mongo.input.fields", "{column: 1}")

引用the official MongoDB Documentations用于投影的语法。