databricks 中的表中的 Azure 存储帐户文件详细信息

Question

我正在通过 ADLS gen2 容器中的管道加载数据。

现在我想创建一个表，其中包含管道何时开始运行然后完成的详细信息。就像下面的字段一样在哪里startts - 作业的开始时间endts- 工作结束时间但 extractts 是提取时间，这就是我想要创建的..有什么方法可以创建表吗？我们将非常感谢您的帮助。

Answer 1

这可能不完全是您所需要的，但您可以使用属性 @pipeline().TriggerTime 在复制事件中添加列来获取“startts”字段。转到“源”选项卡上的底部选项并选择“新建”，然后在值上选择“添加动态内容”。

这是一个例子

对于您的“extractts”，您可以使用名为“executionDuration”的事件属性，该属性将为您提供 adf 运行该事件所需的时间(以秒为单位)。再次，使用动态内容并获取:@activity('ReadFile').output.executionDuration，然后将此值存储在您需要的任何地方。

在此示例中，我将值存储在变量中，但您可以在任何地方使用它。

我不明白您对“endts”字段的需求，我只需简单地执行 startts+extractts 即可获得它。