Azure SQL DW 数据加载需要很长时间

Question

我正在尝试将数据从外部表加载到 SQL DW 内部表。我在 BLOB 存储中以压缩格式存储数据，并且外部表指向 BLOB 存储位置。

我有大约 24 个文件，大小约为 22GB，并尝试使用更大的资源类服务/用户帐户将数据从外部表加载到 300 DWU 上的内部表。

我的 insert into 语句(非常简单)运行了 10 多个小时。插入 Trxdata.Details_data select * from Trxdata.Stage_External_Table_details_data;

我也尝试过下面的语句，也运行了 10 多个小时。创建表 Trxdata.Details_data12和( 分配 = ROUND_ROBIN)作为选择 *来自 Trxdata.Stage_External_Table_details_data;

我明白了 - 两个 SQL 都在“sys”中以 ACTIVE 状态运行。“dm_pdw_exec_requests”[我在想，这可能是并发槽问题，并且没有并发槽可以运行，但事实并非如此]

我希望增加/扩大 DWU - 可能会提高性能。但查看 Portal.azure.com 中的 DWU 使用情况 - 我不相信增加 DWU，因为 DWU 使用图表显示过去 12 小时 <50DWU

DWU USage chart

所以，我试图了解 - 我怎样才能找到 - 是什么花了这么长时间，我怎样才能提高数据加载的性能？

Answer 1

我怀疑您的问题在于文件被压缩。许多 Azure 文档指出，每个压缩文件只能获得一个阅读器。作为测试，我建议您解压缩数据并尝试加载，看看解压缩/加载是否比您当前看到的加载压缩数据 10 小时更快。如果您的系统可以选择的话，我也可以选择多个文件而不是 1 个大文件。