scala - CreatePairedStream 不是 MQTTUtils 的成员

Question

当我声明 MQTTUTils.createPairedStream() 时，我得到了类似这样的错误

value createPairedStream is not a member of object org.apache.spark.streaming.mqtt.MQTTUtils

我的spark和Scala版本是

SCALA 版本 - 2.11.8

Spark 版本 - 2.3.0

Answer 1

您可以在 apache Bahir 中看到以下拉取请求:Bahir Pull Request

您可以在哪里看到正在添加 MQTTUtils.createPairedStream。

您使用以下工件导入您的 pom/gradle/sbt...:

spark-sql-streaming-mqtt_2.11 版本 2.3.2 来自组 org.apache.bahir。

在 Spark 1.6 之前，您可以在 maven 中使用:

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-mqtt -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-mqtt_2.11</artifactId>
    <version>1.6.3</version>
</dependency>

对于 Spark 2.3.2，您需要使用:

<dependency>
    <groupId>org.apache.bahir</groupId>
    <artifactId>spark-streaming-mqtt_2.11</artifactId>
    <version>2.3.2</version>
</dependency>

或者在 SBT 中:

libraryDependencies += "org.apache.bahir" %% "spark-streaming-mqtt" % "2.3.2"

您可以找到更多信息:org.apache.bahir:spark-streaming-mqtt

bin/spark-shell --packages org.apache.bahir:spark-streaming-mqtt_2.11:2.3.0

您将使用 scala 导入包:

import org.apache.spark.streaming.mqtt._

并实例化:

val lines = MQTTUtils.createPairedStream(ssc, brokerUrl, topic)

希望对您有所帮助。