sed - 破译这个 sed one-liner

Question

我想从文件中删除重复的行，而不对文件进行排序。

为什么这对我有用的示例:从 Bash 的 $HISTFILE 中删除重复项不改变时间顺序。

这个页面有一个单行来做到这一点:

http://sed.sourceforge.net/sed1line.txt

这是单线:

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

我问了一个系统管理员，他告诉我“你只需复制脚本就可以了，不要对此进行哲学思考”，这很好，所以我在这里问，因为它是一个开发者论坛，我相信人们可能和我一样，怀疑使用他们不理解的东西:

您能否提供一个关于“黑魔法”脚本正在做什么的伪代码解释，好吗？我试着解析我脑海中的咒语，但尤其是中心部分很难。

Answer 1

我会注意到这个脚本似乎不适用于我的 sed 副本。 (GNU sed 4.1.5)在我当前的语言环境中。如果我用 LC_ALL=C 运行它它工作正常。

这是脚本的注释版本。 sed基本上有两个寄存器，一个叫做“模式空间”，用于(基本上)当前输入行，另一个，“保持空间”，可以被脚本用于临时存储等。

sed -n '                    # -n: by default, do not print
    G                       # Append hold space to current input line
    s/\n/&&/                # Add empty line after current input line
    /^\([ -~]*\n\).*\n\1/d  # If the current input line is repeated in the hold space, skip this line
                            # Otherwise, clean up for storing all input in hold space:
    s/\n//                  # Remove empty line after current input line
    h                       # Copy entire pattern space back to hold space
    P                       # Print current input line'

我想添加和删除空行是为了使中心模式可以保持相对简单(您可以指望在当前行之后和匹配行开头之前有一个换行符)。

所以基本上，整个输入文件(无重复)(以相反的顺序)保存在保持空间中，如果模式空间的第一行(当前输入行)在模式空间的其余部分(即当脚本开始处理这一行时从保留空间复制)，我们跳过它并重新开始。

条件中的正则表达式可以进一步分解；

^    # Look at beginning of line (i.e. beginning of pattern space)
\(   # This starts group \1
[ -~] # Any printable character (in the C locale)
*     # Any number of times
\n    # Followed by a newline
\)   # End of group \1 -- it contains the current input line
.*\n # Skip any amount of lines as necessary
\1   # Another occurrence of the current input line, with newline and all

如果此模式匹配，脚本将丢弃模式空间并从下一个输入行 ( d ) 重新开始。

您可以通过更改 [ -~] 使其独立于语言环境工作至 [[:print:]]