scala - Spark - scala - 使用覆盖模式将数据帧保存到表中

Question

我想知道“覆盖”在这里到底做什么。假设我有一个表，表“tb1”中包含以下记录(抱歉，表的表示不正确)

驾驶员 vin 型号

martin abc ford escape
john abd toyota camry
amy abe chevrolet malibu
carlos abf honda civic

现在我有以下数据框(mydf)，具有相同的列，但具有以下行/数据

martin abf toyota corolla
carlos abg nissan versa

以覆盖模式将上述数据框保存到“tb1”后，该数据框是否会完全删除“tb1”的内容并写入mydf的数据(以上两条记录)？

但是，我希望覆盖模式仅覆盖那些“驱动程序”列具有相同值的行。在这种情况下，对于“tb1”中的 4 条记录，mydf 将仅覆盖以上 2 条记录，结果表如下 -

驾驶员 vin 型号

martin abf toyota corolla
john abd toyota camry
amy abe chevrolet malibu
carlos abg nissan versa

我可以使用覆盖模式实现此功能吗？

mydf.write.mode(SaveMode.Overwrite).saveAsTable("tb1")

Answer 1

您的意思是在主键上合并 2 个数据帧。您想要合并两个数据框并用新行替换旧行并附加额外的行(如果存在)。

这无法通过 SaveMode.Overwrite 或 SaveMode.append 来实现。

为此，您需要在主键上实现 2 个数据帧的合并功能。

类似这样的

 parentDF = // actual dataframe
 deltaDF = // new delta to be merged


 val updateDF = spark.sql("select parentDF.* from parentDF join deltaDF on parentDF.id = deltaDF.id")
 val totalDF = parentDF.except(updateDF).union(deltaDF)
 totalDF.write.mode(SaveMode.Overwrite).saveAsTable("tb1")