bash - 加入给出警告 "file1 is not in sorted order"

Question

正在测试新版 bash 4.1.2(1)-release 中的旧脚本，并在控制台中遇到此警告:

join: file 1 is not in sorted order
join: file 2 is not in sorted order

我很确定这两个文件都已排序。文件实际上已正确合并。

下面是脚本:

cat $FILE1_PATH'.processed.1' | cut -d'|' -f4,8 | sort | uniq -u  > $FILE1_PATH.'processed.2'
cat $FILE2_PATH'.processed.1' | cut -d'|' -f1,8 | sort | uniq -u > $FILE2_PATH.'processed.2'
join -t$'|' -1 1 -2 1 $FILE1_PATH.'processed.2' $FILE2_PATH.'processed.2' > $MERGEFILE_PATH

这个脚本的工作:

1. 从文件 1 中提取字段 4 和 8
2. 从文件 2 中提取字段 1 和 8
3. 使用连接键 file1.field4 = file2.field1 组合提取的字段
4. 删除所有重复项。

FILE1.processed.2:

21VIANET GP INC|GOV
ABN|ABN1
ABN|ABN2
ABOC|ABOC1
ABOC|ABOC1
ABOC|ABOC2
....

FILE2.processed.2:

ABN|Banks
ABOC|Pharmaceuticals
GOV|Government Agency 
....

输出:

GOV|21VIANET GP INC|Government Agency
ABN|ABN1|Banks
ABN|ABN2|Banks
ABOC|ABOC1|Pharmaceuticals
ABOC|ABOC2|Pharmaceuticals  
....

在 bash 版本 3.2.25(1)-release 中运行相同的脚本不会发出警告。有解决警告的想法吗？

更新:似乎原因是由输入文件中的这些行引起的......

ADBC|Banks 
ADB|Banks

Join 期望 ADBC 位于 ADB 之后，如下所示:

ADB|Banks
ADBC|Banks

但是我尝试将排序脚本从 sort -u 更改为 sort -t$'|' -k1(根据第一个字段排序)但仍然无法正常工作......

Answer 1

join 手册页中的建议是在加入字段 1 时使用 sort -k 1b,1。(它说“当加入没有选项”，但就字段选择而言，您的连接相当于没有选项。-1 1 和 -2 1 是默认值。)您可以添加 -t '|' ，它将完美匹配您的 join。

-k1 表示从 1 到结尾的所有字段。 -k1,1 仅表示字段 1。如果您有前导空格并想忽略它，则 b 是必需的。排序语法很奇怪。这是在 POSIX 重新设计它以使其变得合理之后。如果您曾经编写过看起来并不复杂的排序命令，那么它可能没有按照您的意愿行事。

将 --debug 添加到您的排序命令以查看它用作键的内容。使用包含这些行的示例文件:

ADBC|Banks
ADB|Banks
 ADBC|Banks

可以看到各种-k选项的效果:

$ sort -s -t '|' -k 1 --debug file
sort: using simple byte comparison
 ADBC|Banks
___________
ADBC|Banks
__________
ADB|Banks
_________
$ sort -s -t '|' -k 1,1 --debug file
sort: using simple byte comparison
 ADBC|Banks
_____
ADB|Banks
___
ADBC|Banks
____
$ sort -s -t '|' -k 1b,1 --debug file
sort: using simple byte comparison
ADB|Banks
___
ADBC|Banks
____
 ADBC|Banks
 ____

现在您可能想知道我在其中添加的 -s。如果没有它，则将整行作为字符串进行默认的最后比较，这适用于具有相同键的行。这通常不是问题，您可能不需要使用 -s。只是在使用 --debug 时，最后的比较会使列表变得困惑，所以我喜欢使用 -s 来摆脱它。