sql - 使用 Vbscript 处理大型 csv(500k 记录)并将其导入 SQL Server 的最佳方法是什么？

Question

我的系统需要通过 CSV 上传导入大量姓名和电子邮件地址(仅两个字段)。

我可以很容易地处理上传，我如何在处理导入之前验证电子邮件地址。

另外，我如何才能快速处理它或将其作为后台进程而不需要用户观看脚本的运行？

使用经典 ASP/SQL 服务器 2008。

请不要 mock 经典的 asp。

Answer 1

您需要通过 ASP 应用程序进行上传吗？如果没有，无论哪种脚本语言你觉得最舒服，并且可以用最少的编码时间来完成，都是完成这项工作的最佳工具。如果您需要用户能够上传到经典的 ASP 应用程序，并有一个可靠的过程将有效记录插入数据库并拒绝无效记录，您的选择就会改变。

您需要向用户提供反馈吗？比如准确地告诉他们哪些行是无效的？

如果第二种情况是您正在处理的情况，我会让 asp 应用程序简单地存储文件，并让另一个进程、.net 服务或计划任务或其他东西进行导入并报告其进度在 asp 应用程序可以检查的文本文件中。这让您回到使用您熟悉的任何脚本语言来完成它，并且您不必处理 http 请求超时。

如果你用谷歌搜索“regex valid email”，你可以找到各种用于识别无效电子邮件地址的正则表达式。