asp-classic - 经典 ASP : Best way to read & write large (5mb+) files using FileSystemObject

Question

全部，

我正在开发一个允许授权用户将 Excel 电子表格上传到我们的服务器的应用程序。

上传后，会有一个经典的 ASP 脚本读取 Excel 电子表格中的数据，进行一系列验证、解析和操作，然后将修改后的数据写入制表符分隔的文本文件。

然后，它会在 SQL Server 中启动一个存储过程，该过程使用“批量插入”将数据加载到数据库中。

当文件较小时，整个过程运行良好。但随着它们变大(15,000 多行，5+ mb)，脚本开始需要很长时间才能运行(60 多秒)。

因此，我正在寻找使其更高效/更快/更稳健的方法。

粗略地说，现在的代码是这样的:

'' # read the uploaded Excel file

set objConnection = Server.CreateObject("ADODB.Connection") 
objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & xlsfile & ";Extended Properties=""Excel 8.0;"""
set objRS = objConnection.execute("Select * from [Sheet1$]")
rows = ""
while (not objRS.EOF and Err.Number = 0)
    row = objRS("col1") & vbTab & objRS("col2") & vbTab ... objRS("coln") & vbCrLF
    rows = rows & row
    objRS.MoveNext
wend
objRS.close

'' # Write the file
Set objFSO = CreateObject("Scripting.FileSystemObject")
Set objFile = objFSO.OpenTextFile(txtFile, 2, true)
objFile.WriteLine rows
objFile.Close
set objFSO = nothing
set objFile = nothing

如您所见，整个文件被读入一个名为“rows”的变量，然后被转储到文本文件中。

有更好的替代方案吗？例如，我是否应该像从 Excel 中读取一样逐行写入文本文件？

我考虑过的另一种可能性 - 将 Excel 文件读入 SQL Server 中的临时表，并在那里进行所有验证/操作。唯一的问题是我找不到与“批量插入”等效的方法 - 我想我可能必须在 Excel 中逐行读取数据，然后将其逐行写入 SQL Server 中的临时表。

非常感谢您的任何建议和见解!

Answer 1

杀死你的是所有的字符串连接。一个简单的步骤是在文本文件上交错行读取和对 WriteLine 的调用。您一次只能将一行的大小保存为字符串。

像这样:-

set objConnection = Server.CreateObject("ADODB.Connection") 
objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & xlsfile & ";Extended Properties=""Excel 8.0;"""
set objRS = objConnection.execute("Select * from [Sheet1$]")
set objFSO = CreateObject("Scripting.FileSystemObject")
set objFile = objFSO.OpenTextFile(txtFile, 2, true)

do until objRS.EOF
    tab = ""
    for each fld in objRS.Fields
        objFile.Write tab
        objFile.Write fld.value
        tab = vbTab
    next
    objFile.Write vbCrLf
    objRS.MoveNext
loop
objRS.close
objConnection.Close
objFile.Close