regex - 使用 bash/coreutils 而不是 perl 按函数排序

Question

我发现，如果在将文件放入 tar 存档之前按文件扩展名而不是字母顺序对文件列表进行排序，则可以显着提高压缩率(尤其是对于可能有很多 .c 的大型源代码树， .o 和 .h 文件)。

我找不到一种简单的方法来使用 shell 对文件进行排序，该 shell 在每种情况下都能按我期望的方式工作。一个简单的解决方案，例如 find |转 |排序 | rev 完成了这项工作，但文件以奇怪的顺序出现，并且它没有很好地安排它们以获得最佳压缩率。 ls -X 等其他工具不适用于 find 和 sort -t。 -k 2,2 -k 1,1 当文件名中有多个句点时(例如 version-1.5.tar)，会出现困惑。另一个 quick-n-dirty 选项，使用 sed 用 / 替换最后一个句点(它永远不会出现在文件名中)，然后排序，沿着 /拆分:

sed 's/\(\.[^.]*\)$/\/\1/' | sort -t/ -k 2,2 -k 1,1  |  sed 's/\/\([^/]*\)$/\1/'

但是，使用名称中包含 / 的 find 的输出，这再次不起作用，并且允许所有其他字符(0 除外)在 *nix 中的文件名中。

我发现使用 Perl，您可以使用与 cmp(类似于 C 中的 strcmp)相同的输出编写自定义比较子例程，然后运行 ​​perl 排序函数，传递您自己的自定义比较，这很容易用 perl 正则表达式编写。这正是我所做的:我现在有一个 perl 脚本调用

@lines = <STDIN>;
print sort myComparisonFunction @lines;

但是，perl 的可移植性不如 bash，所以我希望能够使用 shell 脚本来处理。此外，find 不会在目录名称上放置尾随/，因此脚本认为目录与没有扩展名的文件相同。理想情况下，我希望 tar 首先读取所有目录，然后是常规文件(并对它们进行排序)，然后是我可以通过实现的符号链接(symbolic link)

cat <(find -type d) <(find -type f | perl exsort.pl) <(find -not -type d -and -not -type f) | tar --no-recursion -T - -cvf myfile.tar

但我仍然遇到这样的问题，要么我每次都必须输入这个怪物，要么我有一个用于这一长行的 shell 脚本和一个用于排序的 perl 脚本，但 perl 并非随处可用，因此将所有内容都塞进一个 perl 脚本也不是一个很好的解决方案。 (我主要关注旧计算机，因为现在所有现代 Linux 和 OSX 都带有足够新版本的 perl)。

我希望能够将所有内容放在一个 shell 脚本中，但我不知道如何将自定义函数传递给 GNU 排序工具。 我运气不好，必须使用一个 perl 脚本吗？或者我可以用一个 shell 脚本来完成吗？

编辑: 感谢您提供 Schwartizan 变换的想法。我使用了一种稍微不同的方法，使用 sed。我最终的排序流程如下:

sed 's_^\(\([^/]*/\)*\)\(.*\)\(\.[^\./]*\)$_\4/\3/\1_' | sed 's_^\(\([^/]*/\)*\)\([^\./]\+\)$_/\3/\1_' | sort -t/ -k1,1 -k2,2 -k3,3 | sed 's_^\([^/]*\)/\([^/]*\)/\(.*\)$_\3\2\1_'

这会处理文件名中的特殊字符(例如 *)，并首先放置没有扩展名的文件，因为它们通常是文本文件。 (生成文件、复制、自述文件、配置等)。

附言如果有人想要我原来的比较功能或认为我可以改进它，这里是:

sub comparison {
    my $first = $a;
    my $second = $b;
    my $fdir = $first =~ s/^(([^\/]*\/)*)([^\/]*)$/$1/r;
    my $sdir = $second =~ s/^(([^\/]*\/)*)([^\/]*)$/$1/r;
    my $fname = $first =~ s/^([^\/]*\/)*([^\/]*)$/$2/r;
    my $sname = $second =~ s/^([^\/]*\/)*([^\/]*)$/$2/r;
    my $fbase = $fname =~ s/^(([^\.]*\.)*)([^\.]*)$/$1/r;
    my $sbase = $sname =~ s/^(([^\.]*\.)*)([^\.]*)$/$1/r;
    my $fext = $fname =~ s/^([^\.]*\.)*([^\.]*)$/$2/r;
    my $sext = $sname =~ s/^([^\.]*\.)*([^\.]*)$/$2/r;
    if ($fbase eq "" && $sbase ne ""){
        return -1;
    }
    if ($sbase eq "" && $fbase ne ""){
        return 1;
    }
    (($fext cmp $sext) or ($fbase cmp $sbase)) or ($fdir cmp $sdir)
}

Answer 1

如果您熟悉 Perl，可以使用 Schwartzian Tranform在 BASH 中也是如此。

Schwartian 变换只是将您想要的排序键添加到您的排序信息中，进行排序，然后删除排序键。它是由 Randal Schwartz 创建的并且在 Perl 中大量使用。但是，它也可以用于其他语言:

您想按扩展名对文件进行排序:

find . -type f 2> /dev/null | while read file   #Assuming no strange characters or white space
do
    suffix=${file##*.}
    printf "%-10.10s %s\n" "$suffix" "$file"
done | sort | awk '{print substr( $0, 8 ) }' > files_to_tar.txt

我正在使用我的find 读取每个文件。我使用 printf 在我的文件名前加上我想要排序的后缀。然后，我做我的事。我的 awk 去掉了我的排序键，只留下我的文件名，它仍然按后缀排序。

现在，您的 files_to_tar.txt 文件包含按后缀排序的文件名。您可以使用 tar 的 -T 参数从该文件中读取文件名:

$ tar -czvf backup.tar.gz -T files_to_tar.txt