azure - 如何从 ADLS 批量加载 Azure SQL DB

Question

我知道 ADF 复制事件可用于将数据从 ADLS 加载到 Azure SQL DB。是否有批量装载的可能性。例如，ADLS --> Synapse 必须选择 PolyBase 来进行批量加载。

是否有任何有效的方法可以将大量记录从 ADLS 加载到 Azure SQL DB。

谢谢马德汉

Answer 1

您可以使用BULK INSERT 或OPENROWSET 将数据从blob 存储获取到Azure SQL 数据库。使用 OPENROWSET 的简单示例:

SELECT * 
FROM OPENROWSET (
    BULK 'someFolder/somecsv.csv',
    DATA_SOURCE = 'yourDataSource',
    FORMAT = 'CSV',
    FORMATFILE = 'yourFormatFile.fmt',
    FORMATFILE_DATA_SOURCE = 'MyAzureInvoices'
    ) AS yourFile;

使用BULK INSERT的简单示例:

BULK INSERT yourTable
FROM 'someFolder/somecsv.csv'
WITH ( 
    DATA_SOURCE = 'yourDataSource',
    FORMAT = 'CSV'
    );

首先需要完成一些设置，即您必须使用 CREATE EXTERNAL DATA SOURCE 语句，但我发现这是一种在 Azure SQL DB 中获取数据的非常有效的方法，而无需花费设置 ADF 管道。它特别适合临时负载。

本文更详细地介绍了这些步骤:

https://learn.microsoft.com/en-us/sql/relational-databases/import-export/examples-of-bulk-access-to-data-in-azure-blob-storage?view=sql-server-ver15