azure - 我们如何在数据工厂中创建通用映射数据流，从具有不同模式的不同表中动态提取数据？

Question

我正在尝试创建一个对所有表通用的 azure 数据工厂映射数据流。我将把表名、用于连接目的的主列以及在 groupBy 和聚合函数中使用的其他列作为参数传递给 DF。 parameters to df

我无法在groupBy中引用此参数 Error: DF-AGG-003 - Groupby should reference atleast one column -MapDrifted1 aggregate() ~> Aggregate1,[486 619]

有人尝试过这种情况吗？如果您对此有一些了解或者是否可以在 u-sql 脚本中处理它，请帮忙。

Answer 1

我们需要首先从传入的源数据中查找您的参数字符串名称，以找到元数据并分配它。

只需在聚合之前添加派生列即可。将派生列中的列命名为“groupbycol”，并使用以下公式:byName($group1)。

在聚合中，选择“groupbycol”作为分组依据列。