azure - 将数据加载到 Azure SQL DW

Question

我有大量数据需要加载到 SQL DW。将数据传输到 Azure 的最佳方式是什么？我应该使用导入/导出还是 AzCopy？每种方法需要多长时间？

Answer 1

加载数据的过程取决于数据量。对于非常小的数据集 (<100 GB)，您只需使用批量复制命令行实用程序 (bcp.exe) 从 SQL Server 导出数据，然后导入到 Azure SQL 数据仓库。

对于大于 100 GB 的数据集，您可以使用 bcp.exe 导出数据，然后使用 AzCopy 等工具将数据移动到 Azure Blob 存储。 ，创建一个外部表(通过 TSQL 代码)，然后通过 Create Table As Select (CTAS) 拉入数据。陈述。根据您与云的连接情况，这可以很好地更新到一两个 TB。

对于非常大的数据集，例如大于几个 TB，您可以使用 Azure Import/Export服务将数据移动到 Azure Blob 存储，然后使用 PolyBase/CTAS 加载数据。

使用 PolyBase/CTAS 路线将允许您利用 Azure SQL 数据仓库(基于 MPP 的系统)中的多个计算节点和数据处理的并行特性。这将极大地提高数据摄取性能，因为每个计算节点都能够与其他节点并行处理数据 block 。

还有一个考虑因素是增加 CTAS 语句时 SQL 数据仓库中可用的 DWU(计算资源)量。这将增加计算资源的数量，增加额外的并行性，从而减少总摄取时间。