azure - 获取文件夹[Azure数据工厂]中最新添加的文件

Question

在数据湖内部，我们有一个文件夹，基本上包含每天外部源推送的文件。但是，我们只想处理该文件夹中最新添加的文件。有什么方法可以使用 Azure 数据工厂实现这一目标吗？

Answer 1

您可以设置modifiedDatetimeStart and modifiedDatetimeEnd在复制事件中使用 ADLS 连接器时过滤文件夹中的文件。

可能有两种情况:

1.数据是由外部来源在时间表推送的，您应该知道要配置的时间表时间。

2.频率是随机，那么也许你必须在另一个住宅记录推送数据的时间，然后将时间作为参数传递到复制事件管道中，然后再执行。

<小时/>

我尝试在 ADF 管道中为您提供如下流程:

我的示例文件位于同一文件夹中:

第1步，创建两个变量，maxtime和文件名:

maxtime是特定日期的临界日期时间，文件名是空字符串。

第2步，使用GetMetadata Activity和ForEach Activity获取文件夹下的文件。

GetMetadata 1 配置:

ForEach Activity 配置:

Step3:在ForEach Activity内部，使用GetMetadata和If-Condition，结构如下:

获取元数据2配置:

If-Condition 事件配置:

第四步:在 If-Condition True 分支内，使用 Set Variable Activity:

设置变量1配置:

设置变量2配置:

以上所有步骤都是为了找到最新的fileName，变量fileName就是目标。

<小时/>

在 GetMetadata 2 中添加另一个新数据集