C# - 删除文本文件中的重复行

Question

有人可以演示如何检查文件中的重复行，然后删除任何重复项或者覆盖现有文件，或者创建一个删除重复行的新文件

Answer 1

如果您使用的是 .NET4，那么您可以使用 File.ReadLines 的组合和 File.WriteAllLines :

var previousLines = new HashSet<string>();

File.WriteAllLines(destinationPath, File.ReadLines(sourcePath)
                                        .Where(line => previousLines.Add(line)));

这与 LINQ 的 Distinct 的功能几乎相同方法，有一个重要区别:Distinct 的输出不保证与输入序列的顺序相同。使用 HashSet<T>明确提供此保证。