c# - 是否有一种设计模式可以帮助比较大量数据？

Question

我需要比较位于不同服务器的 2 个 SQL 表的特定内容:Table1 和 Table2。

我想将表 1 中的每一行与表 2 的全部内容进行比较。

比较逻辑有点复杂，所以我想应用一个我将用 C# 编写的逻辑运算符。所以我不想对 SQL 查询本身进行比较。

我担心的是我将要处理的数据大小约为 200 MB。

我想通过使用 ADO.Net 将数据加载到 DataTable 中并在内存中进行比较。

你会推荐什么？是否已经有类似模式的方法来比较海量数据？

Answer 1

200 MB 应该不是问题。 .NET 应用程序一次可以处理的远不止这些。

但即便如此，我可能会为表 1 使用仅向前的数据读取器，只是因为没有充分的理由不这样做，而且这应该会减少所需的内存量。您可以使用您习惯的任何结构将表 2 保留在内存中。