apache-spark - Databricks 无法执行合并，因为多个源行匹配并试图修改增量表中的同一目标行

Question

我正在尝试与 Databricks 进行合并，但出现错误:

UnsupportedOperationException: Cannot perform Merge as multiple source rows matched and attempted to modify the same
target row in the Delta table in possibly conflicting ways.

我在 SO 上多次看到这个问题，我知道如果源数据集的多行匹配并且合并尝试更新目标 Delta 表的相同行，合并操作可能会失败。

用简单的英语来说，当源表有多个行试图更新同一目标行时，就会发生这种情况。如果更新表具有相同 ID 的记录，则可能会发生这种情况。就我而言，我认为这不适用。

有人可以看看我的代码，如果他们能发现任何明显的地方，请告诉我

(deltadf.alias("t")
     .merge(
      df.alias("s"),
      "s.primary_key_hash = t.primary_key_hash")
    .whenMatchedUpdateAll("s.change_key_hash <> t.change_key_hash")
    .whenNotMatchedInsertAll()
   .execute()
  )

样本deltadf

样本 df

请原谅图片..我正在努力使用标记语言添加数据

Answer 1

我有同样的错误，并发现问题是它第一次起作用。我的数据源确实在我的 primary_key 上有重复项，所以我第二次运行代码时出现了多行错误。一旦我清除了命运表和源 df，它每次都有效。