gpt4 book ai didi

python - 匹配所有韩语(韩语)字符和音节 block 的正则表达式

转载 作者:太空宇宙 更新时间:2023-11-04 00:24:05 26 4
gpt4 key购买 nike

我正在尝试验证用户输入(在 Python 中)并查看是否使用了正确的语言,在本例中为韩语。让我们用韩语单词表示电子邮件地址:이메일 주소

我可以像这样检查每个字符:

import unicodedata as ud
for chr in u'이메일 주소':
if 'HANGUL' in ud.name(chr): print "Yep, that's a Korean character."

但这似乎非常低效,尤其是对于较长的文本。当然,我可以创建一个包含所有韩语音节 block 的静态字典,但该字典将包含大约 25,000 个字符,而且检查起来效率很低。此外,我还需要一个针对日文和中文的解决方案,其中可能包含更多字符。

因此,我想对 Hangul 音节 block 使用覆盖所有 Unicode 字符的 Regex 模式。但我不知道是否有一个范围或在哪里可以找到它。

例如,此正则表达式模式涵盖所有基于拉丁语的字符,包括括号和其他常用符号:

import re
LATIN_CHARACTERS = re.compile(ur'[\x00-\x7F\x80-\xFF\u0100-\u017F\u0180-\u024F\u1E00-\u1EFF]')

有人可以翻译这个正则表达式来匹配韩语 Hangul 音节 block 吗?或者你能给我看一张表格或引用资料,让我自己查找这些范围吗?

匹配中文和日文的模式也会很有帮助。或者一个正则表达式来一次匹配所有 CJK 字符。我不需要区分日语和韩语。

这是一个用于该任务的 Python 库,但它适用于非常庞大的词典:https://github.com/EliFinkelshteyn/alphabet-detector我无法想象这对于大型文本和大量用户输入是有效的。

谢谢!

最佳答案

您是否知道 Unicode 是如何分成 block 的,以及每个 block 如何代表一个连续的代码点范围? IE,有比正则表达式更有效的解决方案。

Hangul Jamo 有一个代码块, 在 CJK block 中有附加字符, 一个 compatability block , Hangul syllables

最有效的方法是使用 if/then 语句检查每个字符是否在可接受的范围内。您几乎肯定可以使用 C 扩展来加快速度。

例如,如果我只是检查 Hangul block (不够,但只是一个简单的起点),我会使用以下代码检查字符串中的每个字符:

def is_hangul_character(char):
'''Check if character is in the Hangul Jamo block'''

value = ord(char)
return value >= 4352 and value <= 4607


def is_hangul(string):
'''Check if all characters are in the Hangul Jamo block'''

return all(is_hangul_character(i) for i in string)

将其扩展为 8 左右 blocks 很容易包含韩文字符的。没有表查找,没有正则表达式编译。只是基于 Unicode 字符 block 的快速范围检查。

在 C 中,这也很容易(如果您想要显着提高性能,只需很少的工作即可匹配完全优化的库):

// Return 0 if a character is in Hangul Jamo block, -1 otherwise
int is_hangul_character(char32_t c)
{
if (c >= 4352 && c <= 4607) {
return 0;
}
return -1;
}


// Return 0 if all characters are in Hangul Jamo block, -1 otherwise
int is_hangul(const char32_t* string, size_t length)
{
size_t i;
for (i = 0; i < length; ++i) {
if (is_hangul_character(string[i]) < 0) {
return -1;
}
}
return 0;
}

编辑 粗略地看一下 CPython 的实现,就会发现 CPython 将这种方法用于 unicodedata。模块。 IE,尽管你自己实现它相对容易,但它是高效的。它仍然值得实现,因为您不必分配任何中间字符串,或使用多余的字符串比较(这可能是 unicodedata 模块的主要成本)。

关于python - 匹配所有韩语(韩语)字符和音节 block 的正则表达式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48074764/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com