azure - 使用数据工厂将表从 SAP BW 提取到 Azure Data Lake Gen2

Question

我想知道从 Azure 云上安装的 SAP BW 中将表提取到 Azure data Lake gen2 的过程。我想使用 ADF 将数据从 SAP BW 复制到数据湖。

我们可以使用 SAP 连接器将 ADF 直接连接到 SAP 吗？我是否必须安装运行时集成和任何虚拟机才能进行此连接？ SAP BW Open Hub 连接器和 SAP BW via MDX 有什么区别？

希望听取专家的意见，了解当 SAP 也托管在 Azure 上时如何从 SAP BW 中提取数据。谢谢。

Answer 1

我不是专家，但是 BW 人员向我解释了其中的区别，您可以同时使用两者，但是使用 OpenHub，您可以在 BW 查询上运行提取，而无需 BW 人员的参与，但性能不会提高伟大的。对于 MDX，我相信需要在 BW 上进行额外的开发，但性能会更好。

还要记住，当我运行这些查询时，我发现很难并行化它，虽然 Microsoft 文档没有提供一个很好的示例，但我发现无论我推送到 BW 的是什么，它都会作为单个查询发送。

或者，我最近的用例是从 SAP BW 与多维数据集的表中获取数据，因此这可能可行。

我按照 "SAP Table" connector 列出的说明进行操作

要使此过程正常进行，您需要一个自托管 IR(在您的笔记本电脑上或连接到 ADF 的虚拟机上)，并且需要安装以下驱动程序:

要获取这些驱动程序，您可能需要联系您的 Basis 团队。他们还需要创建一个接口(interface)角色(特别是如果这是您第一次建立此连接并且您希望其他进程重新使用服务帐户)。

完成所有这些之后，您还需要将 RFC 授权添加到此接口(interface)。以下是对我有用的。微软网站确实给出了建议的 RFC 授权，但这些几乎都是管理员级别的，而我们的 Basis 团队基本上不想这样做:

S_RFC:FUGR - RFC1、SYST、SYSUFUNC - RFCPING、RFC_FUNCTION_SEARCHACTVT – 16

除了上述之外，我们还必须运行一些测试，发现根据您要从中提取数据的表的数量，他们可能需要添加额外的授权，以便您只能从该表中读取数据。

上述过程是我遵循的过程，因此您的过程可能看起来有点不同，但要完成此工作，您需要:自托管 IR、安装在这些 IR 上的 SAP 驱动程序、允许您访问 BW 系统 ID 的防火墙规则、接口(interface)由Basis创建，然后也是RFC授权。

我在 microsoft github 文档上提出了一个关于错误 RFC 授权列表的问题:https://github.com/MicrosoftDocs/azure-docs/issues/60637

还请记住，ADF 提取数据的方式是首先将查询发送到 BW，然后 BW 在其末端创建一个文件来收集该信息，然后该文件被发送回自托管 IR，然后由 IR 写入数据通过 ADF 存入存储帐户。可能发生的情况是，如果文件太大，则管道可能会失败，但不是因为 ADF，而是因为 BW 方面的限制。

希望我的经验可以帮助其他陷入困境的人:)