Azure 数据工厂 - 使用存储事件触发器时排除容器内的文件夹

Question

我目前正在尝试为我们的触发快乐 ADF 触发器找到解决方案。我接管了一个基于 Gen 2 数据湖构建的 Databricks/Delta Lake ETL 解决方案，该解决方案使用 ADF 进行编排。

当前设置使用 RAW > STAGE > BASE > ENRICHED 数据流。当文件到达任何容器中的任何 RAW 文件夹时，就会触发一个管道，调用 Databricks 笔记本，该笔记本会自动将 TXT/CSV/XLSX/JSON 文件转换为增量表。这个过程正在按预期进行，并为我们节省了大量时间。问题是我不希望针对每个存储事件触发此触发器。

显然，我可以对触发器进行更多规定，但我担心的是，在此过程中可能会出现各种可能停止工作的进程。因此，我决定看看是否有一种方法可以排除容器中的特定文件夹。

我引用了文档here ，但我只能看到包含位置而不是排除它们的方法。

有人知道这是否可行吗？如果不是，我将不得不考虑创建比我想要覆盖所有容器(25+)更多的触发器。

谢谢

Answer 1

到目前为止，没有排除文件夹或容器的选项。

您可以尝试这种方法:

使用相同的命名约定保留所有需要的文件夹。

例如:trigger_Folder1、trigger_Folder2 等。并在存储事件触发器中，在 Blob 路径开头为 选项中，提供值“trigger_”