character-encoding - 如何使用awk读取不同编码的文件？

Question

如何在 Awk 中正确读取 UTF8 以外的编码文件？

我有一个希伯来语/Windows-1255 编码的文件。一个简单的 {print $0} awk 会打印诸如 � 之类的内容。我怎样才能让它正确读取？

Answer 1

awk 本身不支持处理不同的编码。它将遵循环境中指定的区域设置，但最好的选择是将输入转码为正确的编码，然后再将其交给 awk。

-f 是要转换的格式，-t 是目标格式，-c 会跳过任何会提前终止 iconv 操作的无效字符。当然--help会提供更多详细信息。

iconv -c -f cp1255 -t utf8 somefile | awk ...