c# - 从通用列表中过滤记录

Question

我知道这是一个在 SO 上多次被问到的常见问题。但无论哪种方式，请帮助我。实际上我必须将数据从我的本地机器上传到远程 sql 数据库。远程 sql 数据库有一个表，其中有 800,000 条记录。现在从这里开始，我的系统本地有大约 1,21311 条记录，其中 75% 的记录已经存在于远程数据库中，但我们不知道到底是什么记录。我们正在使用称为 DCNNumber 的唯一代码来检查我们的号码。如果服务器上存在 DCN，则排除，否则插入。

为此，我所做的是使用数据集将远程数据库中的所有 DCN 收集到 XML。仅 XML 就变成了一个 24mb 的文件。从我的本地文本文件中，我正在将 1.2 lacs 的记录解析为通用列表。 XML DCN 也被添加到字符串的通用列表中。

然后使用 if (!lstODCN.Contains(DCNFromXML)){lstNewDCN.Add(item)} 比较这两个列表；

但是这段代码执行和过滤记录需要将近一个小时。所以我需要一些最佳方法来过滤如此庞大的数字。

Answer 1

将所有结果加载到 HashSet<string> 中- 这将多检查收容的速度。

LINQ 也有可能使这更简单，但我对到底发生了什么感到有些困惑...我怀疑您可以使用:

var newDCNs = xmlDCNs.Except(oldDCNs);