azure - ADF - 如何将具有不同标题的多个 CSV 加载到一个目标表中

Question

我有不同格式的 CSV，它们在不同时间通过 SFTP 传入。它们进来时需要进行处理。问题是:它们具有相似的数据，但列名不同。我希望它们全部位于 SQL Azure 数据库中的同一个目标表中。使用元驱动方法解决此问题的最佳设计是什么？这可以用 1 个管道来完成吗？

示例:

CVS 1 格式 1(标题)

名字、姓氏、电子邮件、地址1

CSV 2 格式 2(标题)

LName、FName、电子邮件地址

请注意，两者都有不同的列标题名称。顺序也不同。其中一个有一个额外的列。两个 CSV 都需要导入到包含以下列的 SQL 表中:

目的地表

名字、姓氏、电子邮件地址

解决方案似乎需要使用文件名映射到数据流以进行文件特定映射，并将结果放入单个数据集中。这是正确的还是有其他方法？

Answer 1

我的建议是执行一个简单的内部联接，它会选择两个 CSV 中具有匹配值的记录。

这是我构建的一个快速演示:

ADF:

1. 创建新管道 -> 添加“数据流”事件
2. 在“数据流”选项卡中 -> 创建新的数据流。
3. 加载 csv 文件作为数据流中的源(参见下面的附图)
4. 添加“联接”事件，联接类型:内联接，在条件下，根据名字和姓氏联接数据。
5. 添加“选择”事件并仅选择上述 3 列
6. 写入接收器(SQL DB 或您选择的任何数据源)

ADF 数据流:

加入事件:

选择事件: 请在此处阅读有关连接转换的更多信息:https://learn.microsoft.com/en-us/azure/data-factory/data-flow-join