c# - 将 CSV 导入 SQL 多表

Question

我正在将数据从一个系统迁移到另一个系统，并且会收到一个包含要导入的数据的 CSV 文件。该文件最多可包含一百万条要导入的记录。我需要获取文件中的每一行，对其进行验证并将数据放入相关表中。例如，CSV 格式如下:

Mr,Bob,Smith,1 high street,London,ec1,012345789,work(this needs to be looked up in another table to get the ID)

真实文件中的数据比这个例子多得多。

所以，SQL 应该是这样的:

Declare @UserID
Insert into User
Values ('Mr', 'Bob', 'Smith', 0123456789)
Set @UserID = @@Identity
Insert into Address
Values ('1 high street', 'London', 'ec1', select ID from AddressType where AddressTypeName = 'work')

我正在考虑遍历每一行并使用包含上述 SQL 的文件中的参数调用 SP。这是解决这个问题的最佳方法吗？这对时间并不重要，因为它只会在更新站点时运行一次。

我正在使用 C# 和 SQL Server 2008 R2。

Answer 1

如何将它加载到一个临时表(请注意，这可能是逻辑上的临时 - 技术上不一定)作为暂存，然后从那里处理它。这是标准的 ETL 行为(一百万对于 ETL 来说很小)，您首先暂存数据，然后清理它，然后将其放到最终位置。