scala - : 'writeStream' can be called only on streaming Dataset/DataFrame异常

Question

尝试为Spark数据流的writeStream函数创建测试，如下所示:

SparkSession spark = SparkSession.builder().master("local").appName("spark 
session").getOrCreate()

val lakeDF = spark.createDF(List(("hi")), List(("word", StringType, true)))

lakeDF.writeStream
  .trigger(Trigger.Once)
  .format("parquet")
  .option("checkpointLocation", checkpointPath)
  .start(dataPath)

但是我收到以下异常:
org.apache.spark.sql.AnalysisException:只能在流式数据集/数据帧上调用“writeStream”；

我是流媒体的新手，请让我知道如何创建流数据帧/将上述常规数据帧转换为测试套件的流数据帧。

Answer 1

在Spark结构化流中，使用SparkSession上的 readStream 在流中创建数据帧/数据集。如果未使用流创建数据帧/数据集，则不允许使用 writeStream 进行存储。

因此，请使用 readStream 创建数据帧/数据集，并使用 writeStream 存储数据帧/数据集

 val kafkaStream = sparkSession.readStream.format("kafka")
.option("kafka.bootstrap.servers", "kafka-broker-hostname:port")
.option("subscribe", "topicname")
.load()