azure - 在数据管道中使用 SqlReaderQuery

Question

我通过查询将数据从 Azure SQL DB 复制到 Blob。

这是事件的脚本:

{
    "type": "Copy",
    "typeProperties": {
        "source": {
            "type": "SqlSource",
            "sqlReaderQuery": "select distinct a.*, b.Name from [dbo].[Transactxxxxxxx] a join dbo.Anxxxxx b on a.[Clixxxxx] = b.[Fixxxxxx] where b.Name = 'associations'"
        },
        "sink": {
            "type": "BlobSink",
            "writeBatchSize": 0,
            "writeBatchTimeout": "00:00:00"
        }
    },
    "inputs": [
        {
            "name": "Txnsxxxxxxxxxxx"
        }
    ],
    "outputs": [
        {
            "name": "Txnxxxxxxxxxxxx"
        }
    ],
    "policy": {
        "timeout": "01:00:00",
        "concurrency": 1,
        "retry": 3
    },
    "scheduler": {
        "frequency": "Hour",
        "interval": 1
    },
    "name": "Copyxxxxxxxxxx"
}

该事件似乎有效，但它没有将任何文件放入接收器中。

数据集指向正确的容器。

Answer 1

根据您提供的信息，我在我们的服务中找到了成功的运行日志。我注意到目标 blob 被指定为“experimentinput/Inxxx_To_xx_Associations.csv/Inxxx_To_xx.csv”。 Blob 名称是静态的，多次切片运行将覆盖同一个 Blob 文件。您可以利用partitionBy属性来获得动态blob名称。更多详情请引用这篇文章:https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-blob-connector/#azure-blob-dataset-type-properties .