apache-spark - 将 Spark Structured Streaming 数据写入 Cassandra

Question

我想使用 Pyspark API 将结构流数据写入 Cassandra。

我的数据流如下:

Nifi -> Kafka -> Spark Structure Streaming -> Cassandra

我试过以下方法:

query = df.writeStream\
  .format("org.apache.spark.sql.cassandra")\
  .option("keyspace", "demo")\
  .option("table", "test")\
  .start()

但是收到以下错误信息:“org.apache.spark.sql.cassandra”不支持流式写入。

我还尝试了另一种方法:[来源 - DSE 6.0 Administrator Guide]

query = df.writeStream\
   .cassandraFormat("test", "demo")\
   .start()

但出现异常:AttributeError: 'DataStreamWriter' object has no attribute 'cassandraFormat'

任何人都可以告诉我如何进一步进行吗？

提前致谢。

Answer 1

升级 DSE 6.0(最新版本)后，我可以将结构化流数据写入 Cassandra。 [Spark 2.2 & Cassandra 3.11]

引用代码:

query = fileStreamDf.writeStream\
 .option("checkpointLocation", '/tmp/check_point/')\
 .format("org.apache.spark.sql.cassandra")\
 .option("keyspace", "analytics")\
 .option("table", "test")\
 .start()

DSE 文档 URL:https://docs.datastax.com/en/dse/6.0/dse-dev/datastax_enterprise/spark/structuredStreaming.html