azure - 在 Azure 数据工厂中计划 U-SQL 作业

Question

我遇到了以下问题。我想在以下时间安排三个 U-SQL 作业:每天 02:00UTC、03:00UTC 和 04:00UTC。我知道默认情况下，管道中的作业在 UTC 时间凌晨 12:00 执行，因此我的所有作业同时运行，这不是我想要的。

我红色了documentation据记载，我应该考虑数据集模板中的 offset 参数。但是，当我尝试设置此值时，会发生以下错误: .

我不知道如何设置不同于 12:00AM 的 U-SQL 作业运行时间。您能为我提供一些有关如何正确执行此操作的信息吗？此外，我附上了数据集和管道的模板:
数据集

{
"name": "TransformedData2",
"properties": {
    "published": false,
    "type": "AzureDataLakeStore",
    "linkedServiceName": "ADLstore_linkedService_scrapper",
    "typeProperties": {
        "fileName": "TestOutput2.csv",
        "folderPath": "transformedData/",
        "format": {
            "type": "TextFormat",
            "rowDelimiter": "\n",
            "columnDelimiter": ","
        }
    },
    "availability": {
        "frequency": "Day",
        "interval": 1,
        "style": "StartOfInterval"
    }
}

}

管道

{
"name": "filtering",
"properties": {
    "activities": [
        {
            "type": "DataLakeAnalyticsU-SQL",
            "typeProperties": {
                "scriptPath": "usqljobs\\cleanStatements.txt",
                "scriptLinkedService": "AzureStorageLinkedService",
                "degreeOfParallelism": 5,
                "priority": 100,
                "parameters": {}
            },
            "outputs": [
                {
                    "name": "TransformedData2"
                }
            ],
            "scheduler": {
                "frequency": "Day",
                "interval": 1,
                "style": "StartOfInterval"
            },
            "name": "Brajan filtering",
            "linkedServiceName": "AzureDataLakeAnalyticsLinkedService"
        }
    ],
    "start": "2017-07-02T09:50:00Z",
    "end": "2018-06-30T03:00:00Z",
    "isPaused": false,
    "hubName": "datafactoryfin_hub",
    "pipelineMode": "Scheduled"
}

}

谢谢

Answer 1

使用Offset属性可能会有点困惑，因为您需要在数据集级别重新配置时间片。

作为替代方案，我建议对事件使用延迟属性。这提供了更多控制，并且不需要重新配置时间片。

所以在你的 JSON 中...

{
"name": "filtering",
"properties": {
    "activities": [
        {
            "type": "DataLakeAnalyticsU-SQL",
            "typeProperties": {
                "scriptPath": "usqljobs\\cleanStatements.txt",
                "scriptLinkedService": "AzureStorageLinkedService",
                "degreeOfParallelism": 5,
                "priority": 100,
                "parameters": {}
            },
            "outputs": [
                {
                    "name": "TransformedData2"
                }
            ],
            "policy": {
              "delay": "02:00:00" // <<<<< 2:00am start
            }, 
            "scheduler": {
                "frequency": "Day",
                "interval": 1,
                "style": "StartOfInterval"
            },
            "name": "Brajan filtering",
            "linkedServiceName": "AzureDataLakeAnalyticsLinkedService"
        }
    ],
    "start": "2017-07-02T09:50:00Z",
    "end": "2018-06-30T03:00:00Z",
    "isPaused": false,
    "hubName": "datafactoryfin_hub",
    "pipelineMode": "Scheduled"
}

那么您当然需要针对凌晨 3:00 和凌晨 4:00 版本进行额外的事件。

查看此链接以获取更多信息:

https://learn.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution

页面下方大约四分之一处提到了延迟。

希望这有帮助