azure-pipelines - 在 ADF V2 中 - 如何将日期 ("yyyyMMdd")) 动态附加到 S3 数据集的文件名

Question

我目前正在努力在 ADFv2 中自动化一个管道，其中源数据位于 S3 中。每天创建一个新文件，结构为“data_20180829.csv”

我试图在复制数据事件的文件名字段中检测动态内容以完成此操作。然而，即使我尝试像 @{concat('data_','20180829.csv')} 这样简单的东西(应该解析为正确的值)，源也失败了。

有没有办法查看动态内容将解析为什么？

Answer 1

这应该只是在数据集中设置文件名表达式的问题，例如



请注意，设置是在数据集上完成的，而不是在复制事件级别。另请注意，您可以通过组合 utcnow 使您的表达更加动态。使用 formatDateTime 函数，例如这样的:

@concat('data_',formatDateTime(utcnow(),'yyyMMdd_HHmmss'),'.csv')

请仔细注意格式化字符串的大小写。首都 MM是两位数格式的月份。 HH是 24 小时制的小时。格式化字符串的完整列表是 here .

数据集的 json 如下所示:

{
    "name": "DelimitedText3",
    "properties": {
        "linkedServiceName": {
            "referenceName": "linkedService2",
            "type": "LinkedServiceReference"
        },
        "annotations": [],
        "type": "DelimitedText",
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "fileName": {
                    "value": "@concat('data_',formatDateTime(utcnow(),'yyyMMdd_HHmmss'),'.csv')",
                    "type": "Expression"
                },
                "container": "ang"
            },
            "columnDelimiter": ",",
            "escapeChar": "\\",
            "quoteChar": "\""
        },
        "schema": [
            {
                "type": "String"
            },
            {
                "type": "String"
            },
            {
                "type": "String"
            },
            {
                "type": "String"
            }
        ]
    }
}