c# - 最快将 csv 导入数据库表

Question

我已经实现了一个导入功能，该功能从 Asp.Net 应用程序中的 csv 文件中获取数据。文件大小从几 kb 到最大 10 MB 不等。

但是，当发生导入并且文件大小大于 50000 时，它大约需要 20 分钟。时间太长了。我需要在 2-3 分钟的时间跨度内对大约 300000 条记录执行导入。

我知道导入到数据库还取决于数据库服务器的物理内存。我批量创建插入脚本并执行。我也知道使用 SqlBulkCopy 也是另一种选择，但在我的例子中，它不仅是插入产品，而且还更新和删除一个名为“FUNCTION CODE”的字段，它决定是插入、更新还是删除。

我们将不胜感激任何有关如何进行此操作的建议。

实现此目的的一种方法是实现同时执行进程的多个线程，但我迄今为止从未实现过线程化，因此我不知道实现相同的线程会带来的复杂性。

感谢和问候，弗朗西斯·P.

Answer 1

SqlBulkCopy 肯定是最快的。我会通过将数据插入数据库的临时表来解决这个问题。一旦数据在临时表中，您就可以使用 SQL 进行相应的合并/插入/删除。