azure - 如何使用 ADF 对文件名的一部分进行模式匹配

Question

我在 blob 中有大约 10 个文件，我需要对文件的字符串名称的一部分进行模式匹配，如果匹配则变量应设置为 true。我将从“获取元数据阶段”获取子名称和文件名。

如何使用 Azure 数据工厂实现这一目标？

是否可以通过使用“获取元数据阶段”获取元数据来使用 Databricks Notebook 来匹配模式？

Answer 1

您可以在 ADF 中的“获取元数据”事件之后使用 ForEach 事件来完成此操作。

请按照下面的演示进行操作:

• 我的 blob 中的文件以 pattern 单词作为模式。

• 使用“获取元数据”事件将此文件列表传递给 ForEach。在管道中创建一个数组变量。

• 为 ForEach Items 提供如下动态内容。

  @activity('获取元数据1').output.childItems

• 在 ForEach 内部使用附加变量将基于模式的文件名和 True 或 false 附加到数组我们之前创建了(在我的例子中是newfiles)。

• ChildItems 给出文件名和文件类型，因此仅从 ForEach 中的每个项目中获取文件名并检查模式。

@concat(item().name,'-',if(contains(string(item().name),'pattern'),'true','false'))

• 最后设置变量结果(可选且仅用于输出显示)。

• 输出:

Is it possible to match the pattern using Databricks Notebook by getting metadata using "Get metadata stage"?

是的，这是可能的。如果您想避免文件类型，您可以在 ForEach 中使用附加变量来仅传递文件名。如果您需要文件类型，可以将子项从“获取元数据”直接传递到笔记本。

仅传递文件名

将此newfiles变量传递给Databricks笔记本并在笔记本中使用模式匹配条件。