azure - 如何自动将数据从 CSV 文件加载到 Azure SQL

Question

我正在尝试自动将数据从 CSV 文件加载到 Azure SQL 中。我尝试遵循本指南 https://marczak.io/posts/azure-loading-csv-to-sql/这对于较小的文件非常有效，但是当我尝试使用较大的文件时，我收到此错误:“状态”:504， "message": "执行超时已过期。操作完成之前超时时间已过或服务器未响应。\r\nclientRequestId: 347b83c3-0fd9-414f-8795-ce4843d85ebd"

注意:我正在测试的 csv 文件与示例中的相同，只是多了一些行。

我对 Azure 还很陌生，所以任何帮助都会很棒

Answer 1

您可以尝试使用Data Factory帮助您将 csv 文件加载到 Azure SQL 数据库。

请引用本教程:Copy data from Azure Blob storage to a SQL database by using Azure Data Factory :

在本教程中，您将使用 Azure 数据工厂用户界面 (UI) 创建数据工厂。此数据工厂中的管道将数据从 Azure Blob 存储复制到 SQL 数据库。本教程中的配置模式适用于从基于文件的数据存储复制到关系数据存储。

数据工厂具有 Trigger the pipeline on a schedule 的功能:

在此计划中，您可以为管道创建计划触发器。触发器按指定的计划(例如每小时或每天)运行管道。

此功能可以帮助您自动将数据从 CSV 文件加载到 Azure SQL 中。

希望这有帮助。