azure - 订单计数 - ADF - 聚合

Question

如何使用 ADF 将此 CSV 文件输入转换为 ADLS 中的给定输出？

输入数据:

order_id,city,country
L10,Sydney,Australia
L11,Annecy,France
L12,Montceau,France
L13,Paris,France
L14,Montceau,Canada
L15,Ste-Hyacinthe,Canada

输出数据:

COUNTRY,CITY,TOTAL_Order
Australia,Sydney,1
Australia,Total,1
Canada,Montréal,1
Canada,Ste-Hyacinthe,1
Canada,Total,2
France,Annecy,1
France,Montceau,1
France,Paris,1
France,Total,3
Total,Total,6

我想使用数据流查找城市和国家/地区的订单 ID 计数。这类似于汇总聚合。

Answer 1

• 在数据流中进行三个聚合转换来完成此操作。首先是计算每个国家和城市组合的 orderid 计数。第二个聚合转换是计算每个国家的 orderid 计数。第三个聚合转换是计算整个表的 orderid 计数。下面是详细步骤。

• 将相同的输入数据作为源。

img:1 源数据预览

• 点击源转换附近的 + 符号，然后点击“新分支”，创建两个新的附加分支。
• 在每个分支中添加聚合转换。
• 聚合转换 1 设置:

 group by : country, city
 aggregates: total_order=count(order_id)

img:2聚合transform1数据预览

• 聚合 transorm2 设置:

group by: country
aggregates: total_order=count(order_id)

img:3聚合变换2数据预览。

• 聚合 transorm3 设置:分组依据中没有列。

group by: 
aggregates: total_order=count(order_id)

img:4聚合transform3数据预览。

• 下一步是合并所有这些表。由于所有这些都不在同一结构中，因此将派生列转换添加到aggregate2和aggregate3并创建带有空字符串的列。
• 使用联合转换连接聚合 1、派生 1 和派生 2 转换数据。

img:5 全部转换后的数据预览。

img:6 包含所有转换的完整数据流。