gpt4 book ai didi

sql-server - 需要更快的方法将大型 CSV 文件导入到 Azure SQL Server DB

转载 作者:行者123 更新时间:2023-12-03 00:03:20 25 4
gpt4 key购买 nike

在以下场景中需要建议:

我们必须将大型 CSV 文件 (>=1GB) 中的数据导入到目标 Azure SQL DB。

当前使用 SQL Server 2012 的“导入和导出数据”实用程序来执行此操作。

问题:1.进口速度很慢。它在 5 1/2 小时内导入 160 万条记录 (256 MB CSV),这对于时间和成本来说是昂贵的。

有什么建议可以更快地加载 csv 数据吗?

注意:1. CSV 文件数据中包含 (,),并以 (") 作为文本字段分隔符

  • 源包含所有类型的数据 - 日期、整数、小数
  • 提前致谢!

    最佳答案

    最适合您的方法是使用 Data Factory 。具有良好的大数据传输性能。

    enter image description here

    您可以将 csv 文件存储到多个日期存储(受数据工厂支持):

    enter image description here enter image description here

    然后将 csv 文件复制到 Azure SQL 数据库。

    您可能需要引用这些教程:

    1. Copy and transform data in Azure SQL Database by using Azure DataFactory
    2. Copy and transform data in Azure Blob storage by using Azure DataFactory

    更新:

    您的 csv 文件包含包含逗号“,”的列数据。

    很多人都提出了同样的问题,我也向 Azure 支持寻求帮助,他们有与 @Jacob H 在评论中告诉你的相同建议:更改 csv 文件或尝试其他方法。

    希望这有帮助。

    关于sql-server - 需要更快的方法将大型 CSV 文件导入到 Azure SQL Server DB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61227605/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com