Azure数据工厂数据流: how to filter input column with multiple values

Question

我想做的基本上是在数据流中模拟 SQL WHERE IN CLAUSE。我想将逗号分隔的值字符串传递到我的数据流中，即 ptf_proc_link_id = "A, B, C"。

在数据流内部，我想使用这些值来过滤我的输入列之一:

这相当于在 SQL 中编写 SELECT * FROM my_delta_table where ptf_proc_link_id in (A, B, C)。

但是，数据流文档仅提示我可以过滤单个值，即 ptf_proc_link_id = A。我尝试使用 intersect，但两个参数都需要是数组，在我的情况下，其中一个参数是一列。我可以做类似 ptf_proc_link_id = A OR ptf_proc_link_id = B OR ptf_proc_link_id = C 的事情，但我永远不知道我会有多少个输入值，所以我无法对其进行硬编码。

这似乎是一个非常简单的数据流用例，所以如果有人能向我解释正确的方法是什么，我将非常感激。

谢谢!

Answer 1

您可以使用in() ADF 数据流中的函数可过滤多个值。

语法: in(array of items,item to find)

• 我尝试使用示例输入数据重现此问题。

<表类=“s-表”><标题>键类姓名标记出生 <正文>11阿朱那502015 年 1 月 2 日21巴桑塔472015年5月1日31苏巴拉542015年5月6日42干达婆602014 年 1 月 2 日52乌杰瓦拉552014年9月2日62Sanadhana642014年1月12日73斯里达玛752013 年 1 月 2 日83苏达玛802013年12月13日93瓦苏812013年1月12日

img:1 源数据预览。

• 我尝试使用 key=2,4,6 过滤记录

• 过滤条件可以给出为 in(['2','4','6'], key)或者 in(array('2','4','6'), key) img:2 过滤条件设置

• 过滤器转换的输出数据:

img:3 滤镜变换数据预览

• 您还可以创建数组类型的数据流参数，并将该参数放在过滤器转换的过滤条件中。 img:4个数据流参数

• 使用参数时的过滤条件为in($parameter1,key)

引用:Microsoft document上data flow expression - in