azure - 将数据从本地 SQL 服务器复制并合并到 Azure blob

Question

我开始使用 Azure 数据工厂将一些本地运营数据迁移到 Azure Blob。我有几个复杂的(我认为是的)拼图。

我有 8 个数据库，每个数据库都是相同的(我们的操作系统在 8 个不同的站点上运行，每个站点都有自己的数据库)，但仅包含与该站点相关的数据。

我需要将这些站点的数据合并在一起。例如，一个名为“人员”的表，当我报告“人员”时，我需要一个包含来自每个站点的所有人员的表。我在当前的本地数据仓库中使用 UNION ALL SQL 查询实现了这一目标，但由于有超过 60 个查询，这些查询变得难以维护，因为它们每年都会因我们的业务运营方式而发生变化。

我对实现这一目标的最佳/最简单方法感到困惑，并且希望能找到正确的方向。

Answer 1

作为@HimanshuSinha-msft，您可以参数化链接的服务。

1. 我们可以添加server和db链接服务的参数。
   

2. 在管道中，我们可以定义一个数组类型参数servers并输入 [{"server":"<server-name1>","db":"<dbname1>"},{"server":"server-name2","db":"<dbname2>"}, ...] 。这是我定义的数据结构。

3. 然后我们就可以在Foreach事件中通过 @pipeline().parameters.servers 来遍历这个数组参数了。

4. 在 Foreach 事件中，我们需要向 Copy 事件的源数据集添加两个参数。

5. 然后我们可以将动态内容添加到源数据集中。

通过这些步骤，我们可以使用一个复制事件将数据从多个不同的 SQL Server 复制到一个 Azure SQL。因为我们动态传入了连接参数的值。