c# - 如何将 20 个 100mb CSV 文件批量插入 SQL Server

Question

我有大约 20 个 .csv 文件，每个文件大约 100-200mb。

它们每个都有大约 100 列。

每个文件90%的列是相同的；但是，有些文件的列数较多，有些文件的列数较少。

我需要将所有这些文件导入到 sql server 2008 数据库的一个表中。

如果该字段不存在，我需要创建它。

问题:这个导入过程应该是怎样的？如何更有效、更快速地将所有这些文件导入数据库中的一个表中，并确保如果某个字段不存在，则创建它？另请记住，同一字段可能位于不同的位置。例如，CAR 可以在一个 csv 文件的 AB 字段中，而在另一个 csv 文件中相同的字段名称 (CAR) 可以是 AC。解决方案可以是 SQL 或 C# 或两者。

Answer 1

您可以选择多个选项1.使用DTS包2. 尝试生成一个统一的 CSV 文件，使数据库表与其列同步并批量插入3. 将每个文件批量插入到自己的表中，然后将表合并到目标表中。