azure - 防止使用 azure databricks 在 azure SQL DB 中插入重复数据

Question

我正在通过以下场景将数据从 Azure Databricks 加载到 SQL DB。

1. 我在 Azure DB mysalesorder 中有表
2. 我在 ADLS 中有一些文件具有类似的数据，例如 mySalesOrder
3. 我正在使用 Azure databricks 笔记本将数据插入 Azure SQL DB。

不，我可以使用 Azure Databricks jdbc 将 ADLS 文件中的数据插入到 AZURE SQL DB。

但我想知道如何防止 adls 文件中的重复行条目进入表中。

Answer 1

prevent from duplicate row entries into the table from adls files.

在目标表上创建唯一索引或主键。这将防止重复，但不会阻止您尝试插入重复但失败。

为此，要么将数据加载到临时表中，然后 MERGE使用 scala 或 java 中的 JDBC 语句(不是 JDBC Spark 连接器)将其插入目标表，或者在索引上打开 IGNORE_DUP_KEY。