apache-spark - 为什么 Structured Streaming 失败并显示 "java.lang.IncompatibleClassChangeError: Implementing class"？

Question

我想通过 PySpark 使用结构化流来运行 Spark 应用程序。

我使用 Spark 2.2 和 Kafka 0.10 版本。

我因以下错误而失败:

java.lang.IncompatibleClassChangeError: Implementing class

spark-submit 命令使用如下:

/bin/spark-submit \
  --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.2.0 \
  --master local[*] \
  /home/umar/structured_streaming.py localhost:2181 fortesting

structured_streaming.py 代码:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("StructuredStreaming").config("spark.driver.memory", "2g").config("spark.executor.memory", "2g").getOrCreate()
raw_DF = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:2181").option("subscribe", "fortesting").load()
values = raw_DF.selectExpr("CAST(value AS STRING)").as[String]
values.writeStream.trigger(ProcessingTime("5 seconds")).outputMode("append").format("console").start().awaitTermination()

Answer 1

你需要spark-sql-kafka对于结构化流:

--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0

还要确保您使用的 Scala(上面的 2.11)和 Spark (2.2.0) 的版本与您在集群上使用的版本相同。