gpt4 book ai didi

azure - 将数据从本地 DW 迁移到 Azure

转载 作者:行者123 更新时间:2023-12-02 07:50:23 24 4
gpt4 key购买 nike

我有一个使用 SQL Server 的本地数据仓库,将数据加载到 SQL 数据仓库的最佳方法是什么?

最佳答案

加载数据的过程取决于数据量。对于非常小的数据集 (<100 GB),您只需使用批量复制命令行实用程序 (bcp.exe) 从 SQL Server 导出数据,然后导入到 Azure SQL 数据仓库。对于大于 100 GB 的数据集,您可以使用 bcp.exe 导出数据,使用 AzCopy 等工具将数据移动到 Azure Blob 存储。 ,创建一个外部表(通过 TSQL 代码),然后通过 Create Table As Select (CTAS) 拉入数据。声明。

使用 PolyBase/CTAS 路线将允许您利用 Azure SQL 数据仓库(基于 MPP 的系统)中的多个计算节点和数据处理的并行特性。这将极大地提高数据摄取性能,因为每个计算节点都能够与其他节点并行处理数据 block 。

还有一个考虑因素是增加 CTAS 语句时 SQL 数据仓库中可用的 DWU(计算资源)量。这将增加计算资源的数量,增加额外的并行性,从而减少总摄取时间。

关于azure - 将数据从本地 DW 迁移到 Azure,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32082034/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com