azure - 使用ADF，根据文件夹名称中的时间戳获取最新文件夹

Question

假设在 ADLS Gen2 中，一个 RootFolder 中有多个文件夹，其中文件夹名称为 Timestamp。

使用Azure数据工厂，如何根据文件夹名称获取最新文件夹(即文件夹名称具有最新时间戳)。我知道这可以使用 Python 或 Shell 脚本轻松完成，但是具体是如何完成的

示例 -

文件夹结构:

RootFolder
    |- 20210921131200
    |- 20210920120000
    |- 20210801021345

在上述情况下，它应该返回文件夹 20210921131200 作为其最新时间戳。

Answer 1

1. 创建 2 个变量(例如:check_date 和latest_folder)，并在 check_date 变量中分配一个样本最小日期值，以将其与文件夹日期进行比较，并将结果存储在另一个变量latest_folder 中。

使用获取元数据事件获取RootFolder下的文件夹名称列表。

获取元数据的输出:

将 Get Metadata 事件的输出传递给 ForEach 事件。

@activity('获取元数据1').output.childitems

在 ForEach 事件中，使用 If Condition 事件检查，ForEach 的当前文件夹名称大于 check_date 变量值。<

@greater(int(item().name),int(variables('check_date')))

如果条件为真，则将当前项目传递给 check_date 变量。这会将示例值替换为文件夹名称。

循环所有文件夹后，使用“设置变量”事件，将 check_date 值传递给latest_folder 变量以获取最新的文件夹名称。

Set Metadata2 的

输出在latest_folder变量中保存最新的文件夹值。