macos - sed无法为我提供Mac换行符的正确替代操作-GNU sed与BSD/OSX sed之间的区别

Question

This question already has answers here:

Replace comma with newline in sed on MacOS?

(13个回答)


6年前关闭。




我正在使用此引用: sed help: matching and replacing a literal "\n" (not the newline)

而且我有一个文件“test1.txt”，其中包含字符串hello \ ngoodbye

我使用以下命令搜索“\ n”并将其替换为实际的换行符:

sed -i '' 's/\\n/\n/g' test1.txt

但结果是: hellongoodbye 。
它只是将“\ n”替换为“n”，而不是实际的新行。这与/ t相同，它将保留“t”而不是制表符。

''是针对MAC中的未定义错误: http://mpdaugherty.wordpress.com/2010/05/27/difference-with-sed-in-place-editing-on-mac-os-x-vs-linux/

更新:

我尝试了@ hek2mgl建议的两个命令:

sed -i 's/\\n/\n/g' test.txt
# Or:
sed -i'' 's/\\n/\n/g' test.txt

尽管它们可能适用于Linux，但使用MAC OS，却出现以下错误:

sed: 1: "test1.txt": undefined label 'est1.txt'

不知道为什么我不能使它工作。提前致谢。

最佳答案

对于BSD / macOS的sed，要在s函数调用的替换字符串中使用换行符，必须使用\-转义的实际换行符-此处不支持转义序列\n(与调用的regex部分不同)。

可以:只需插入一个实际的换行符:

sed -i '' 's/\\n/\
/g' test1.txt

或:使用ANSI C-quoted string ( $'...' )在换行符中拼接($'\n'；可用于bash，ksh或zsh):

sed -i '' 's/\\n/\'$'\n''/g' test1.txt

相比之下，GNU sed确实会识别替换字符串中的 \n；请继续阅读，以全面了解这两种实现之间的差异。

GNU sed(Linux)和BSD / macOS sed之间的区别

macOS使用 sed [1]的BSD版本，该版本在许多方面与Linux发行版附带的GNU sed版本有所不同。

他们的 共同点是 POSIX 所降低的功能:请参阅 the POSIX sed spec.

最可移植的方法是要 仅使用POSIX功能，但是 限制了功能:

值得注意的是，POSIX仅对基本正则表达式指定支持，该表达式有很多限制(例如，根本不支持|(替代)，不直接支持+和?)以及不同的转义要求。

警告: GNU sed(不带-r)，不支持\|，\+和\?，这与POSIX不兼容；使用--posix禁用(请参见下文)。

要仅使用POSIX功能:

(两个版本):仅使用-n和-e选项(值得注意的是，请勿使用-E或-r来启用对扩展正则表达式的支持)

GNU sed:添加选项--posix以确保仅POSIX功能(您严格不需要此功能，但是如果没有它，您可能会无意间最终使用非POSIX功能；注意:--posix本身不兼容POSIX)

使用仅POSIX的功能意味着更严格的格式要求(放弃了GNU sed中提供的许多便利):

通常不支持诸如\n和\t之类的控制字符序列。

标签和分支命令(例如b)之后必须是实际的换行符或通过单独的-e选项继续。

有关详细信息，请参见下文。

但是，两个版本都实现了POSIX标准的扩展:

它们实现的扩展与不同(GNU sed实现的扩展更多)。

甚至它们都实现的那些扩展在语法上都部分不同。

如果您需要同时支持两个平台(讨论差异):

不兼容的功能:

使用不带参数(无需备份就地更新)的 -i选项是不兼容的:

BSD sed:必须使用-i ''

GNU sed:必须仅使用-i(等效于:-i'')-使用-i ''不起作用。

-i明智地在GNU sed和BSD sed的最新版本(例如，在FreeBSD 10中)上打开每个输入文件的行编号，但是在10.15 的macOS上不启用。
请注意，在没有-i的情况下，所有版本的数字行在输入文件中都是累积的。

如果最后输入行没有尾随换行符(并且已打印):

BSD sed:总是在输出上添加换行符，即使输入行不以一个结尾。

GNU sed:保留尾随换行符状态，即，仅当输入行以1结尾时才追加换行符。

常见功能:

如果将sed脚本限制为BSD sed支持的脚本，它们通常也可以在GNU sed中使用-值得注意的异常(exception)是将平台特定的扩展正则表达式功能与-E一起使用。显然，您还将放弃特定于GNU版本的扩展。请参阅下一节。

受BSD版本的更严格要求驱动，跨平台支持准则(macOS / BSD，Linux):

请注意，我分别使用BOS和GNU版本的sed的简写形式macOS和Linux，因为它们是每个平台上的储备版本。但是，可以在macOS上安装GNU sed，例如，使用Homebrew和brew install gnu-sed。

注意:除了在使用-r和-E标志(扩展正则表达式)时，以下说明等同于编写 POSIX兼容 sed脚本。

为了符合POSIX，您必须限制自己使用POSIX BREs (basic regular expressions)，不幸的是，顾名思义，POSIX EREs (extended regular expressions)非常基础。
警告:不假定支持\|，\+和\?:尽管GNU sed支持它们(除非使用--posix)，但BSD sed不支持-这些功能不符合POSIX。
虽然 \+和\?可以按照POSIX兼容的方式模拟:\{1,\}的\+，\{0,1\}的\?，
不幸的是， \|(替代)不能。

为了获得更强大的正则表达式，使用-E (而不是-r)来支持 ERE(扩展正则表达式)(GNU sed并未记录-E，但它确实是-r B的别名； new sed(例如在FreeBSD 10上)现在也支持-r，但是从10.10开始的macOS版本不支持。
警告:尽管使用-r / -E意味着您的命令在定义上不符合POSIX，但是您仍然必须将自己限制为https://www.gnu.org/software/sed/manual/sed.html#The-_0022s_0022-Command 。可悲的是，这意味着您将无法使用几种有用的结构，尤其是:

字边界断言，因为它们是特定于平台的(例如，在Linux上为\<，在OS X上为[[:<]])。

正则表达式中的

反向引用(与s函数调用的替换字符串中捕获组匹配的“反向引用”相对)，因为BSD sed在扩展的正则表达式中不支持它们(但奇怪的是，这样做在基本版本中，它们是POSIX要求的)。

控制字符转义序列，例如\n和\t:

在正则表达式中(用于选择的模式和s函数的第一个参数)，假定只有\n被识别为转义序列(很少使用，因为模式空间通常是单行(不终止\n))，但不在字符类内部，因此，例如[^\n]不起作用；(如果您的输入中不包含\t以外的其他控制字符，则可以使用[^\n]模拟[[:print:][:blank:]]；否则，将控制字符拼接为文字[2] )-通常包括控制字符作为文字，可以通过在支持它的 shell 程序中通过拼接ANSI C引号的字符串(例如$'\t')(bash, ksh，zsh)，或通过使用printf(例如"$(printf '\t')")的命令替换来实现。

仅Linux:sed 's/\t/-/' <<<$'a\tb' # -> 'a-b'

macOS和Linux:sed 's/'$'\t''/-/' <<<$'a\tb' # ANSI C-quoted stringsed 's/'"$(printf '\t')"'/-/' <<<$'a\tb' # command subst. with printf

在与s命令一起使用的替换字符串中，假定不支持任何控制字符转义序列，因此，再次包含控制字符。作为文字，如上所述。

仅Linux:sed 's/-/\t/' <<<$'a-b' # -> 'a<tab>b'sed 's/-/\n/' <<<$'a-b' # -> 'a<newline>b'

macOS和Linux:sed 's/-/'$'\t''/' <<<'a-b'sed 's/-/'"$(printf '\t')"'/' <<<'a-b'sed 's/-/\'$'\n''/' <<<'a-b'请注意，换行符需要反斜杠转义，以便将它们正确地解释为替换字符串的一部分，而不是命令的结尾，并且对于换行符，使用printf不适用于换行符，因为尾随的换行符由命令替换($(...))删除。 。

与和i函数的文本参数相同。不使用控制字符序列-参见下文。

标签和分支:标签以及a和b函数的label-name参数之后必须是文字换行符或已拼接的t 。或者，使用多个$'\n'选项，并在标签名称之后立即终止每个选项。

仅Linux:-e

macOS和Linux:

EITHER(实际换行符):sed -n '/a/ bLBL; d; :LBL p' <<<$'a\nb' # -> 'a'

或(已拼接的sed -n '/a/ bLBL
d; :LBL
p' <<<$'a\nb'实例):$\n

或(多个sed -n '/a/ bLBL'$'\n''d; :LBL'$'\n''p' <<<$'a\nb'选项):-e

用于插入/追加文本的 sed -n -e '/a/ bLBL' -e 'd; :LBL' -e 'p' <<<$'a\nb'和i函数:在函数名后加上a，后跟文字换行符或已拼接的\ ，然后再指定文本参数。

仅Linux:$'\n'

macOS和Linux:sed '1 i new first line' <<<$'a\nb' # -> 'new first line<nl>a<nl>b'

注意:

如果没有sed -e '1 i\'$'\n''new first line' <<<$'a\nb'，则在macOS上的输出中，text参数莫名其妙地不是以换行符结尾的(错误？)。

不要在文本参数中使用控制字符转义，例如-e和\n，因为它们仅在Linux上受支持。

如果text参数因此具有实际的内部换行符，则\t-对其进行转义。

如果要在text参数后面放置其他命令，则必须使用(未转义的)换行符(无论是文字还是拼接)终止它，或继续使用单独的\选项(这是适用于所有版本的一般要求) 。

里面的函数列出了(包含在-e中的多个函数调用)，还要确保在结束{...}之前还使用} 终止最后一个函数。

仅Linux:

;

macOS和Linux:

sed -n '1 {p;q}' <<<$'a\nb' # -> 'a'

使用 sed -n '1 {p;q;}' <<<$'a\nb'选项(从文件中读取命令)，仅GNU -f支持sed作为stdin的占位符； 使用-可从stdin 便携式地读取命令，包括从here-documents中读取命令(假设您的平台支持-f /dev/stdin，这在当今很常见)。

GNU /dev/stdin的特定功能完全从BSD sed中丢失:

如果您需要同时支持两个平台，则会错过GNU功能:

各种 regex匹配和替换选项(用于行选择的模式和sed函数的第一个参数):

用于区分大小写的正则表达式匹配的s选项(令人难以置信的是，BSD I根本不支持此功能)。

用于多行匹配的sed选项(其中M / ^匹配每行的开始/结尾)

有关$函数特定的其他选项，请参见http://www.gnu.org/software/sed/manual/sed.html#The-_0022s_0022-Command

转义序列

替代相关的转义序列，例如s函数的replace参数中的\u，允许在限制范围内操作子字符串；例如s///-参见https://www.gnu.org/software/sed/manual/sed.html#Escapes

控制字符转义序列:除了sed 's/^./\u&/' <<<'dog' # -> 'Dog'，\n，...，基于代码点的转义；例如，以下所有转义符(十六进制，八进制，十进制)表示一个单引号(\t):'，\x27，\o047-请参见http://www.gnu.org/software/sed/manual/sed.html#Addresses

地址扩展，例如\d039匹配每一步，first~step匹配addr, +N之后的N行，...-请参见ojit_a

[1] macOS addr版本比其他类似BSD的系统(例如FreeBSD和PC-BSD)上的版本要旧。不幸的是，这意味着您不能假设在FreeBSD中可以使用的功能在macOS上也可以使用。

[2] ANSI C引用的字符串sed包含除$'\001\002\003\004\005\006\007\010\011\013\014\015\016\017\020\021\022\023\024\025\026\027\030\031\032\033\034\035\036\037\177'(和NUL)之外的所有ASCII控制字符，因此您可以将其与\n结合使用，以对[:print:]进行相当强大的仿真:[^\n]

关于macos - sed无法为我提供Mac换行符的正确替代操作-GNU sed与BSD/OSX sed之间的区别，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24275070/

上一篇：c# - ASP.NET vNext - MissingMethodException : Method not found: Microsoft. CodeAnalysis.Diagnostic> EmitResult.get_Diagnostics()'

下一篇：sql - 用逗号分隔表的查询是交叉连接查询吗？

Answer 1

对于BSD / macOS的sed，要在s函数调用的替换字符串中使用换行符，必须使用\-转义的实际换行符-此处不支持转义序列\n(与调用的regex部分不同)。

可以:只需插入一个实际的换行符:

sed -i '' 's/\\n/\
/g' test1.txt

或:使用ANSI C-quoted string ( $'...' )在换行符中拼接($'\n'；可用于bash，ksh或zsh):

sed -i '' 's/\\n/\'$'\n''/g' test1.txt

相比之下，GNU sed确实会识别替换字符串中的 \n；请继续阅读，以全面了解这两种实现之间的差异。

GNU sed(Linux)和BSD / macOS sed之间的区别

macOS使用 sed [1]的BSD版本，该版本在许多方面与Linux发行版附带的GNU sed版本有所不同。

他们的 共同点是 POSIX 所降低的功能:请参阅 the POSIX sed spec.

最可移植的方法是要 仅使用POSIX功能，但是 限制了功能:

值得注意的是，POSIX仅对基本正则表达式指定支持，该表达式有很多限制(例如，根本不支持|(替代)，不直接支持+和?)以及不同的转义要求。

警告: GNU sed(不带-r)，不支持\|，\+和\?，这与POSIX不兼容；使用--posix禁用(请参见下文)。

要仅使用POSIX功能:

(两个版本):仅使用-n和-e选项(值得注意的是，请勿使用-E或-r来启用对扩展正则表达式的支持)

GNU sed:添加选项--posix以确保仅POSIX功能(您严格不需要此功能，但是如果没有它，您可能会无意间最终使用非POSIX功能；注意:--posix本身不兼容POSIX)

使用仅POSIX的功能意味着更严格的格式要求(放弃了GNU sed中提供的许多便利):

通常不支持诸如\n和\t之类的控制字符序列。

标签和分支命令(例如b)之后必须是实际的换行符或通过单独的-e选项继续。

有关详细信息，请参见下文。

但是，两个版本都实现了POSIX标准的扩展:

它们实现的扩展与不同(GNU sed实现的扩展更多)。

甚至它们都实现的那些扩展在语法上都部分不同。

如果您需要同时支持两个平台(讨论差异):

不兼容的功能:

使用不带参数(无需备份就地更新)的 -i选项是不兼容的:

BSD sed:必须使用-i ''

GNU sed:必须仅使用-i(等效于:-i'')-使用-i ''不起作用。

-i明智地在GNU sed和BSD sed的最新版本(例如，在FreeBSD 10中)上打开每个输入文件的行编号，但是在10.15 的macOS上不启用。
请注意，在没有-i的情况下，所有版本的数字行在输入文件中都是累积的。

如果最后输入行没有尾随换行符(并且已打印):

BSD sed:总是在输出上添加换行符，即使输入行不以一个结尾。

GNU sed:保留尾随换行符状态，即，仅当输入行以1结尾时才追加换行符。

常见功能:

如果将sed脚本限制为BSD sed支持的脚本，它们通常也可以在GNU sed中使用-值得注意的异常(exception)是将平台特定的扩展正则表达式功能与-E一起使用。显然，您还将放弃特定于GNU版本的扩展。请参阅下一节。

受BSD版本的更严格要求驱动，跨平台支持准则(macOS / BSD，Linux):

请注意，我分别使用BOS和GNU版本的sed的简写形式macOS和Linux，因为它们是每个平台上的储备版本。但是，可以在macOS上安装GNU sed，例如，使用Homebrew和brew install gnu-sed。

注意:除了在使用-r和-E标志(扩展正则表达式)时，以下说明等同于编写 POSIX兼容 sed脚本。

为了符合POSIX，您必须限制自己使用POSIX BREs (basic regular expressions)，不幸的是，顾名思义，POSIX EREs (extended regular expressions)非常基础。
警告:不假定支持\|，\+和\?:尽管GNU sed支持它们(除非使用--posix)，但BSD sed不支持-这些功能不符合POSIX。
虽然 \+和\?可以按照POSIX兼容的方式模拟:\{1,\}的\+，\{0,1\}的\?，
不幸的是， \|(替代)不能。

为了获得更强大的正则表达式，使用-E (而不是-r)来支持 ERE(扩展正则表达式)(GNU sed并未记录-E，但它确实是-r B的别名； new sed(例如在FreeBSD 10上)现在也支持-r，但是从10.10开始的macOS版本不支持。
警告:尽管使用-r / -E意味着您的命令在定义上不符合POSIX，但是您仍然必须将自己限制为https://www.gnu.org/software/sed/manual/sed.html#The-_0022s_0022-Command 。可悲的是，这意味着您将无法使用几种有用的结构，尤其是:

字边界断言，因为它们是特定于平台的(例如，在Linux上为\<，在OS X上为[[:<]])。

正则表达式中的

反向引用(与s函数调用的替换字符串中捕获组匹配的“反向引用”相对)，因为BSD sed在扩展的正则表达式中不支持它们(但奇怪的是，这样做在基本版本中，它们是POSIX要求的)。

控制字符转义序列，例如\n和\t:

在正则表达式中(用于选择的模式和s函数的第一个参数)，假定只有\n被识别为转义序列(很少使用，因为模式空间通常是单行(不终止\n))，但不在字符类内部，因此，例如[^\n]不起作用；(如果您的输入中不包含\t以外的其他控制字符，则可以使用[^\n]模拟[[:print:][:blank:]]；否则，将控制字符拼接为文字[2] )-通常包括控制字符作为文字，可以通过在支持它的 shell 程序中通过拼接ANSI C引号的字符串(例如$'\t')(bash, ksh，zsh)，或通过使用printf(例如"$(printf '\t')")的命令替换来实现。

仅Linux:sed 's/\t/-/' <<<$'a\tb' # -> 'a-b'

macOS和Linux:sed 's/'$'\t''/-/' <<<$'a\tb' # ANSI C-quoted stringsed 's/'"$(printf '\t')"'/-/' <<<$'a\tb' # command subst. with printf

在与s命令一起使用的替换字符串中，假定不支持任何控制字符转义序列，因此，再次包含控制字符。作为文字，如上所述。

仅Linux:sed 's/-/\t/' <<<$'a-b' # -> 'a<tab>b'sed 's/-/\n/' <<<$'a-b' # -> 'a<newline>b'

macOS和Linux:sed 's/-/'$'\t''/' <<<'a-b'sed 's/-/'"$(printf '\t')"'/' <<<'a-b'sed 's/-/\'$'\n''/' <<<'a-b'请注意，换行符需要反斜杠转义，以便将它们正确地解释为替换字符串的一部分，而不是命令的结尾，并且对于换行符，使用printf不适用于换行符，因为尾随的换行符由命令替换($(...))删除。 。

与和i函数的文本参数相同。不使用控制字符序列-参见下文。

标签和分支:标签以及a和b函数的label-name参数之后必须是文字换行符或已拼接的t 。或者，使用多个$'\n'选项，并在标签名称之后立即终止每个选项。

仅Linux:-e

macOS和Linux:

EITHER(实际换行符):sed -n '/a/ bLBL; d; :LBL p' <<<$'a\nb' # -> 'a'

或(已拼接的sed -n '/a/ bLBL
d; :LBL
p' <<<$'a\nb'实例):$\n

或(多个sed -n '/a/ bLBL'$'\n''d; :LBL'$'\n''p' <<<$'a\nb'选项):-e

用于插入/追加文本的 sed -n -e '/a/ bLBL' -e 'd; :LBL' -e 'p' <<<$'a\nb'和i函数:在函数名后加上a，后跟文字换行符或已拼接的\ ，然后再指定文本参数。

仅Linux:$'\n'

macOS和Linux:sed '1 i new first line' <<<$'a\nb' # -> 'new first line<nl>a<nl>b'

注意:

如果没有sed -e '1 i\'$'\n''new first line' <<<$'a\nb'，则在macOS上的输出中，text参数莫名其妙地不是以换行符结尾的(错误？)。

不要在文本参数中使用控制字符转义，例如-e和\n，因为它们仅在Linux上受支持。

如果text参数因此具有实际的内部换行符，则\t-对其进行转义。

如果要在text参数后面放置其他命令，则必须使用(未转义的)换行符(无论是文字还是拼接)终止它，或继续使用单独的\选项(这是适用于所有版本的一般要求) 。

里面的函数列出了(包含在-e中的多个函数调用)，还要确保在结束{...}之前还使用} 终止最后一个函数。

仅Linux:

;

macOS和Linux:

sed -n '1 {p;q}' <<<$'a\nb' # -> 'a'

使用 sed -n '1 {p;q;}' <<<$'a\nb'选项(从文件中读取命令)，仅GNU -f支持sed作为stdin的占位符； 使用-可从stdin 便携式地读取命令，包括从here-documents中读取命令(假设您的平台支持-f /dev/stdin，这在当今很常见)。

GNU /dev/stdin的特定功能完全从BSD sed中丢失:

如果您需要同时支持两个平台，则会错过GNU功能:

各种 regex匹配和替换选项(用于行选择的模式和sed函数的第一个参数):

用于区分大小写的正则表达式匹配的s选项(令人难以置信的是，BSD I根本不支持此功能)。

用于多行匹配的sed选项(其中M / ^匹配每行的开始/结尾)

有关$函数特定的其他选项，请参见http://www.gnu.org/software/sed/manual/sed.html#The-_0022s_0022-Command

转义序列

替代相关的转义序列，例如s函数的replace参数中的\u，允许在限制范围内操作子字符串；例如s///-参见https://www.gnu.org/software/sed/manual/sed.html#Escapes

控制字符转义序列:除了sed 's/^./\u&/' <<<'dog' # -> 'Dog'，\n，...，基于代码点的转义；例如，以下所有转义符(十六进制，八进制，十进制)表示一个单引号(\t):'，\x27，\o047-请参见http://www.gnu.org/software/sed/manual/sed.html#Addresses

地址扩展，例如\d039匹配每一步，first~step匹配addr, +N之后的N行，...-请参见ojit_a

[1] macOS addr版本比其他类似BSD的系统(例如FreeBSD和PC-BSD)上的版本要旧。不幸的是，这意味着您不能假设在FreeBSD中可以使用的功能在macOS上也可以使用。

[2] ANSI C引用的字符串sed包含除$'\001\002\003\004\005\006\007\010\011\013\014\015\016\017\020\021\022\023\024\025\026\027\030\031\032\033\034\035\036\037\177'(和NUL)之外的所有ASCII控制字符，因此您可以将其与\n结合使用，以对[:print:]进行相当强大的仿真:[^\n]