unicode - 如何标记文档中的所有 CJK 文本？

Question

我有一个文件，file1.txt ，包含英文、中文、日文和韩文文本。为了在 ConTeXt 中使用，我需要根据语言(英语除外)标记文件中的每个文本区域，并输出一个新文件，例如，这是一个示例行:

The 恐龙 ate 鱼.

由于它包含中文字符，因此将被标记为:

The \language[cn]{恐龙} ate \language[cn]{鱼}.

文档保存为 UTF-8。

中文文本需注明\language[cn]{*} .

日文文本应注明\language[ja]{*} .

韩文文本应注明\language[ko]{*} .

内容永远不会从一行继续到下一行。

如果代码对某些内容是中文、日文还是韩文有疑问，最好将其默认为中文。

如何根据当前语言标记文本？

Answer 1

一个粗略的算法:

use 5.014;
use utf8;
while (<DATA>) {
    s
        {(\p{Hangul}+)}
        {\\language[ko]{$1}}g;
    s
        {(\p{Hani}+)}
        {\\language[zh]{$1}}g;
    s
        {(\p{Hiragana}+|\p{Katakana}+)}
        {\\language[ja]{$1}}g;
    say;
}

__DATA__
The 恐龙 ate 鱼.
The 恐竜 ate 魚.
The キョウリュウ ate うお.
The 공룡 ate 물고기.

(另见 Detect chinese character using perl?)

这有问题。 Daenyth评论，例如恐竜被误认为是中国人。我发现您不太可能真正使用混合的英语-CJK，并且只是给出了不好的示例文本。首先进行词法分析以区分中文和日语。