删除重复值的linux命令

Question

我有2个文件file1 其中包含

1,2,3,4,5

文件2包含

4,5,6,7,8

输出的方式应该是新文件假定它作为 file3 应该包含

1,2,3,4,5,6,7,8,

不仅如此，如果 file1 和 file2 中的内容发生如下变化

file1 新内容

10,11,12,13,14

file2 新内容

13,14,15,16,17,18

合并后 file3 应包含以下值

1,2,3,4,5,6,7,8,10,11,12,13,14,15,16,17,18

我尝试了几个命令，如 sort、uniq、cat 等，但都没有用

Answer 1

像 sort 和 uniq 这样的命令在行上工作。

您所要做的就是将逗号转换为换行符，执行 sort -u 或 uniq 然后将换行符转换回逗号，例如

$ cat a
1,2,3,4,5
$ cat b
4,5,6,7,8
$ cat a b | tr ',' '\n' | sort -u | tr '\n' ','
1,2,3,4,5,6,7,8, 

您可能会发现 Set Operations in the Unix Shell有帮助。