azure - 如何使用 azure 复制事件加载具有重叠但动态架构列的多个文件？

Question

我有大约 7-8 个文件，它们具有不同但重叠的架构。但是我希望目标( azure 突触表)的架构是最大列数的架构。

我的文件有 - 61 列、93 列和 96 列所以我的目标表将有 96 列

但是在加载 61 列表时，我希望将其余 30 行加载为 NULL。我正在使用数据流使用 *.csv 选项递归加载。

谁能告诉我如何实现这一目标吗？

我的源是 azure BLOB 中的 csv 文件，我的目标是一个具有 96 列架构的表。

(还有一个问题是，只有一个文件有两列名称不同但值相同，我不知道如何映射它，否则它看起来像另外两列新列，我们最终将有 98 列)

我也无法进行手动映射，因为对这么多文件进行手动映射会花费很多时间。

请告诉我。提前致谢

Answer 1

我尝试通过 ADF 中的复制事件来实现您的要求。

准备测试数据:

blob 存储容器中的三个文件。

SQL DB 中的列设置:

然后使用“获取元数据事件”和“对于 ADF 中的每个事件”:

获取元数据事件的配置:

每个事件的配置:

在每个事件中，请使用复制事件。将blob存储设置为源数据集，并将sql db(我使用sql db进行测试，您可以在这里使用synapse db)作为sink数据集。

SQL 数据库中的测试结果:

此外，说实话，我没有找到任何方法来映射只有一个文件有两列名称不同但值相同。我相信到目前为止 ADF 还不支持它。既然你肯定知道哪一列符合这种情况，你可以稍后使用代码来处理它们。(我认为这不是太难)