azure - 迭代数据工厂中的文件

Question

我有一个 Datalake gen 1，其文件夹结构为/Test/{currentyear}/{Files}

{文件} 示例格式2020-07-29.csv2020-07-30.csv2020-07-31.csv

每天都会有一个新文件添加到文件夹中。

我需要创建 ADF 来加载 SQL Server 中的文件。条件

1. 当我的 ADF 第一次运行时，它需要迭代所有文件并加载到 sql server
2. 当 ADF 从第二次开始执行时(每天一次)，它只需要获取今天的文件并加载到 SQL Server

谁能告诉我如何在上述条件下设计ADF

Answer 1

这应该设计为两部分。

When my ADF runs for the first time it needs to iterate all files andload into sql server

你应该创建一个临时管道来实现这一点。(我想你知道如何做到这一点，所以这部分我不会谈论。)

When ADF executing starting from second time( daily once) it needs topick up only todays file and load into SQL server

所以这需要您创建另一个连续运行的管道。

实现这一点有两点:

首先，通过事件触发器触发此管道。(当文件上传时，触发此管道。)。

第二，按特定格式过滤文件:

根据您的要求，表达式应为 @{formatDateTime(utcnow(),'yyyy-MM-dd')}。

就我而言，我可以成功做到这一点。请您尝试一下。