unicode - 多字节字符集中的换行控制字符

Question

我有一些 Perl 代码，可以将换行符和换行符转换为规范化形式。输入文本是日语，因此会有多字节字符。

是否仍然可以逐字节进行此转换(我认为目前可以)，或者我是否必须检测字符集并启用 Unicode 支持？换句话说，流行的编码(Shift-JIS、EUC-JP、UTF-8、ISO-2022-JP)是否使用字节作为其字符集的一部分，可能会被误认为是 ASCII 控制字符？

我只需要 CR 和 LF 即可工作。

更新:添加了 ISO-2022-JP。这是看起来最麻烦的一个，其时髦的转义序列......

Answer 1

您提到的 4 种编码(Shift-JIS、UTF-8、EUC-JP、ISO-2022-JP)均不使用日语字符中的 CR 或 LF 字符。对于 UTF-8 和 EUC-JP，低位 ascii 字符和日语字符内的字节之间没有任何重叠。但是，对于 Shift-JIS 和 ISO-2022-JP，存在重叠，但不在 CR 和 LF 所在的范围内。

For ISO-2022-JP,
First-byte range: 0x21 - 0x7E
Second-byte range: 0x21 - 0x7E

在各种字符集之间来回切换的转义序列字符为:

0x1B, 0x28, 0x24, 0x40, 0x42, and 0x4A

如您所见，ISO-2022-JP 中用于编码日语字符的字符均不与 CR 或 LF 重叠。

For Shift-JIS,
First-byte range: 0x81 - 0x9F, 0xE0 - 0xEF
Second-byte range: 0x40 - 0x7E, 0x80 - 0xFC
Half-width katakana: 0xA1 - 0xDF

同样，CR 和 LF 没有重叠。