apache-spark - Pyspark:Delta 表作为流源，怎么做？

Question

我在 delta 表上的 readStream 中遇到问题。

预期是什么，引用以下链接
https://docs.databricks.com/delta/delta-streaming.html#delta-table-as-a-stream-source
前任:

spark.readStream.format("delta").table("events")  -- As expected, should work fine

问题，我已经通过以下方式尝试了相同的方法:

df.write.format("delta").saveAsTable("deltatable")  -- Saved the Dataframe as a delta table

spark.readStream.format("delta").table("deltatable") -- Called readStream 

错误:

Traceback (most recent call last):
File "<input>", line 1, in <module>
AttributeError: 'DataStreamReader' object has no attribute 'table'

笔记:
我在本地主机上运行它，使用 pycharm IDE，
安装最新版本的pyspark，spark版本=2.4.5，Scala版本2.11.12

Answer 1

DataStreamReader.table和 DataStreamWriter.table方法还没有在 Apache Spark 中。目前您需要使用 Databricks Notebook 来调用它们。