apache-spark - 从 Spark 结构化流作业写入时的增量表版本控制

Question

从 Spark 结构化流作业写入 Delta 表是否会为写入的每个微批数据创建一个版本？

Answer 1

来自文档:

As you write into a Delta table or directory, every operation isautomatically versioned.

所以，是的，你是对的。

获取数据:

• 使用时间戳

• 使用版本号

引用:https://databricks.com/blog/2019/02/04/introducing-delta-time-travel-for-large-scale-data-lakes.html