unicode - 使用awk去除字节顺序标记

Question

awk 脚本(大概是单行代码)如何删除 BOM看起来像？

规范:

• 打印第一行之后的每一行 (NR > 1)
• 第一行:如果以 #FE #FF 或 #FF#FE 开头，则删除它们并打印其余部分

Answer 1

使用 GNU sed(在 Linux 或 Cygwin 上):

# Removing BOM from all text files in current directory:
sed -i '1 s/^\xef\xbb\xbf//' *.txt

在 FreeBSD 上:

sed -i .bak '1 s/^\xef\xbb\xbf//' *.txt

使用 GNU 或 FreeBSD sed 的优点:-i 参数意味着“就地”，并且无需重定向或奇怪的技巧即可更新文件。

在 Mac 上:

This awk solution in another answer works ，但是上面的 sed 命令不起作用。至少在 Mac (Sierra) 上 sed 文档没有提到支持十六进制转义 ala \xef。

通过管道连接到moreutils中的sponge工具，任何程序都可以实现类似的技巧。 :

awk '…' INFILE | sponge INFILE