sql-server - 批量导入文本文件/VB2005/SQL Server 2005

Question

我继承了一个 .NET 应用程序来支持/增强它读取数十万行的几个文件以及数百万行之一的文件。

原始开发人员给我留下了如下代码:-

                For Each ModelListRow As String In ModelListDataArray
                    If ModelListRow.Trim.Length = 0 Or ModelListRow.Contains(",") = False Then
                        GoTo SKIP_ROW
                    End If

                    Dim ModelInfo = ModelListRow.Split(",")
                    Dim ModelLocation As String = UCase(ModelInfo(0))
                    Dim ModelCustomer As String = UCase(ModelInfo(1))
                    Dim ModelNumber As String = UCase(ModelInfo(2))

                    If ModelLocation = "LOCATION" Or ModelNumber = "MODEL" Then
                        GoTo SKIP_ROW
                    End If

                    Dim MyDataRow As DataRow = dsModels.Tables(0).NewRow
                    MyDataRow.Item("location") = ModelLocation.Replace(vbCr, "").Replace(vbLf, "").Replace(vbCrLf, "")
                    MyDataRow.Item("model") = ModelNumber.Replace(vbCr, "").Replace(vbLf, "").Replace(vbCrLf, "")
                    dsModels.Tables(0).Rows.Add(MyDataRow)
SKIP_ROW:
                Next

导入这些文件需要很长时间(嗯，接近半小时)。

我怀疑有更好的方法可以做到这一点。我正在寻找建议。

提前致谢。

Answer 1

看看批量插入。

http://msdn.microsoft.com/en-us/library/ms188365(v=SQL.90).aspx

基本上，您将 SQL Server 指向 CSV 格式的文本文件，它会执行将数据拉入表中的所有逻辑。如果您需要对其进行更多处理，可以将文本文件拉入 SQL Server 中的暂存位置，然后运行存储过程将其处理为您需要的格式。