c# - Java MongoDB Hadoop 连接器是否有 C# 等效项？

Question

我在玩Mobius (Spark 的 C# 语言绑定(bind))和 MongoDB 的 C# 驱动程序。我的目标是在我的 C# 应用程序中使用 MongoDB 作为 Spark 查询的输入/输出。我知道有一个 Java MongoDB Hadoop 连接器，但我想继续使用 Mobius 来编写我的 Spark 查询。

Answer 1

您可以使用 MongoDB Spark Connector和 Mobius 中的 DataFrame API用于查询 MongoDB。加载数据的代码如下所示

var mongoDbDataFrame = sqlContext.Read.Format("com.mongodb.spark.sql").Load()

加载数据后，您可以对 DataFrame 执行 Select()、Filter() 操作。您还可以使用下面的代码模板将 DataFrame 注册为 TempTable 以使用 SQL 查询

mongoDbDataFrame.RegisterTempTable("MongDbDataFrameTempTable")
sqlContext.Sql("SELECT <columns> FROM MongDbDataFrameTempTable WHERE <condition>")

请注意，您需要在类路径中包含连接器及其依赖项，并且可以使用“--jars”参数。