azure - 通过 Azure 数据工厂从本地数据湖到 Azure 数据湖存储的数据加载速度非常慢

Question

我想要将数据从本地(Data Lake)存储加载到 Azure Data Lake 存储 gen2。

为此，我已经创建了本地 Windows 服务器并在其上安装了自托管集成运行时。并从 Azure 数据工厂连接到本地数据湖 (HIVE)。

在 Azure 数据工厂中，我创建了一个包含复制事件的管道，并提供了源作为我的本地数据湖 (Hive)。并给出了 SQL 查询来提取数据。同样，我需要为多个表添加多个复制事件。

我已尝试仅在我的管道中使用单一副本事件。

我的问题来了:我的管道花费了很多时间将数据加载到数据湖中。

我的集成运行时所在的 Windows 服务器的带宽为 10Gbps。但加载速度仍然很慢。

我刚刚尝试提取 20,000 条记录。加载数据大约需要 20 分钟。我获得的吞吐量约为 15kbps，非常低。

如何提高事件的性能，使其速度更快。

Answer 1

您能检查一下Integration Runtime的配置吗？您配置了多少 RAM 或节点？

此外，您使用的是 Express Route 还是 Side by Side VPN，Express Route 是更快的选项

自承载集成运行时计算机的建议最低配置是具有 4 核的 2 GHz 处理器、8 GB RAM 和 80 GB 可用硬盘空间。