azure - Azure 数据工厂中的参数化数据集

Question

我想知道是否有人有在Azure数据工厂中动态调用数据集的经验。我们面临的情况是，我们动态地将所有表从 IaaS(Azure VM 上的本地 SQL Server 安装)应用程序系统扫描到数据湖。我们希望有一个管道可以将服务器名称、数据库名称、用户名和密码传递给管道的事件。然后，管道将扫描它们被告知从参数中读取的任何源。源系统目前位于我们的企业协议(protocol)中的单独订阅和域中。

我们已经研究过在通用 SQL Server 数据集上使用 AutoResolveIntegrationRuntime，但由于它是 Azure 并且虚拟机上的运行时是自托管的，因此它无法解析，并且我们收到“无法连接”错误。所以，

i) 我不知道如果它们位于同一订阅和域中，这个问题是否会消失？

剩下是否有人可以提供帮助:

ii) 一种获取动态运行时来解析应使用哪个 SQL Server 运行时的方法(出于弹性目的，我们为每个虚拟机配备一个运行时，但它们都可以看到彼此的实例)。我们不想参数化特定虚拟机上的链接服务，因为它会依赖该单个虚拟机上的其他虚拟机。

iii) 能够参数化数据集以调用运行时(在 UI 中看起来不可能)。

iv) 能够通过管道事件参数化源和接收器连接以调用数据集参数。

Answer 1

通过使用参数，服务器、数据库、表名可以是动态的。这里的关键问题是ADF中的所有引用都不能参数化，例如数据集中的链接服务引用、链接服务中的integrationRuntime引用。如果您没有太多的自托管集成运行时，也许您可​​以尝试为不同的网络设置不同的管道？