c# - 删除数据表中的重复项

Question

我有以下实现来查找 DataTable 中的重复项。这是非常低效的，并且永远需要大约 20K 行。我只需要找到第二列值的重复条目:

private List<string> checkForDuplicates(DataTable results)
{
    List<string> duplicateLists = new List<string>();
    for (int i = 0; i < results.Rows.Count; i++ )
    {
        string cellvalue = results.Rows[i][1].ToString();
        for (int j = 0; j < results.Rows.Count; j++)
        {
            if (i != j)
            {
             if (cellvalue.Equals(results.Rows[j][1]))
                {
                    //Duplicate found                            
                    duplicateLists.Add(results.Rows[i][1].ToString() + "_" + i+2 + "_" + j+2);
                }
            }
        }

    }
    return duplicateLists;
}

Answer 1

你遇到的问题是每一行都必须检查每隔一行，所以随着更多的行，检查的数量呈指数增长。处理它的最快方法是使其呈线性 - 只做与行数一样多的检查。

实现此目的的一种方法是按 column2 对数据表进行排序。这会将所有重复项放在相邻的行中，因此您只需要遍历表格，检查一行是否与下一行不匹配。

另一种方法是从源头获取内容并确保在阅读它们之前行是不同的。