azure - 使用 Azure 数据工厂 V2 按 LastModifiedDate 复制新文件和更改的文件

Question

使用复制事件，我只需要获取文件夹中的最新文件。

示例:文件夹

文件1

文件2其中 File2 是最新的。

但是，它正在获取两个文件。

我关注了: https://learn.microsoft.com/en-us/azure/data-factory/solution-template-copy-new-files-lastmodifieddate

还在源数据集中尝试过>连接>按上次修改进行过滤

Start Date: @adddays(utcnow(),-31)

End Date: utcnow()

我希望仅在指定的日期范围内获取最后修改的文件。

Answer 1

我的粗略想法是使用这样的流程:获取元数据事件-->Azure函数事件-->复制事件。

第1步:使用Metadata Activity获取指定范围日期内特定文件夹中文件的最后修改日期时间。

第二步:将输出数组传递给 azure function activity ，使用冒泡排序(或其他比较算法)获取最新修改的文​​件名并过滤其他文件名。输出该文件名。

第三步:将文件名传递给复制事件进行传输。

从这个案例中你可以得到一些类似的线索:https://social.msdn.microsoft.com/Forums/en-US/affdcb44-6a8c-4b20-8e2e-6da20ab86c32/default-sorting-of-get-metadata-activity?forum=AzureDataFactory