c# - 在 C# 中将 CSV 文件与数据库进行比较的最快方法

Question

我正在编写一个内部应用程序，其中一个功能是从远程系统导入数据。来自远程系统的数据以 CSV 文件的形式传来。我需要将系统中的数据与 CSV 文件中的数据进行比较。

我需要对我的系统进行任何更改(添加和更改)。我需要跟踪更改的每个字段。

我的数据库已规范化，因此我要处理大约 10 个表以与 CSV 文件中的数据相对应。实现这个的最佳方法是什么？每个 CSV 文件有大约 500,000 条每天处理的记录。我首先使用查找 ID 从我的 SQL 数据库中逐行查询，然后使用 c# 逐字段比较并根据需要更新或插入；但是，这需要很长时间。

有什么建议吗？

Answer 1

您可以执行以下操作:

• 将 cvs 文件加载到您的数据库中的暂存表中；
• 对其执行验证和清理程序(如有必要)
• 对您的实时数据进行比较和更新
• 清除暂存表中的所有数据

使用这种方法，您可以使用 RDBMS 功能实现几乎所有清理、验证和更新逻辑。

如果您的 RDBMS 是 SQL Server，您可以利用 SQL Server Integration Services。