azure - 如何持续将数据从本地 SQL 数据库迁移到 Azure SQL 数据库

Question

作为 Azure Machine Learning 的一部分过程中，我需要使用数据管理网关持续将数据从本地 SQL 数据库迁移到 Azure SQL 数据库。

这篇 Azure 官方文章介绍了如何:Move data from an on-premises SQL server to SQL Azure with Azure Data Factory 。但细节让我有点困惑。如果有人简要描述一下这个过程，你会怎么做。在本地上需要执行的2-3个主要步骤和在Azure云上执行的2-3个步骤是什么？不需要详细信息。 注意:解决方案必须涉及使用数据管理网关

Answer 1

根据 Azure 文档，您可以使用“切片”。您可以使用时间戳列执行“增量”获取，如this所述。文章或使用连续整数列。为了避免由于本地服务器的系统日期比 Azure 系统日期稍晚一些而导致行未包含在切片中的问题，最好使用顺序整数。输入数据集下方显示了如何定义切片:

{
  "name": "AzureBlobInput",
  "properties": {
    "type": "AzureBlob",
    "linkedServiceName": "StorageLinkedService",
    "typeProperties": {
      "folderPath": "mycontainer/myfolder/{Year}/{Month}/{Day}/",
      "partitionedBy": [
        { "name": "Year", "value": {"type": "DateTime","date": "SliceStart","format": "yyyy"}},
        { "name": "Month","value": {"type": "DateTime","date": "SliceStart","format": "MM"}},
        { "name": "Day","value": {"type": "DateTime","date": "SliceStart","format": "dd"}}
      ],
      "format": {
        "type": "TextFormat"
      }
    },
    "external": true,
    "availability": {
      "frequency": "Hour",
      "interval": 1
    }
  }
}

您可以创建事件并使用可用性部分指定事件的计划。您可以指定“频率”(分钟、小时、天等)和“间隔”。

            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            }

事件运行消耗或产生的每个数据单元称为数据切片。下图显示了具有一个输入数据集和一个输出数据集的事件示例:

该图显示了输入和输出数据集的每小时数据切片。该图显示了三个可供处理的输入切片。上午 10 点至 11 点事件正在进行中，生成上午 10 点至 11 点输出片。

您可以使用变量 SliceStart 和 SliceEnd 来访问与数据集 JSON 中当前切片关联的时间间隔。您可以在事件 JSON 中使用这些变量从表示时间序列数据的输入数据集中选择数据(例如:上午 8 点到上午 9 点)。

您还可以将管道的开始日期设置为过去，如下所示 here 。当您执行此操作时，数据工厂会自动计算(回填)过去的所有数据切片并开始处理它们。