- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在尝试验证用户输入(在 Python 中)并查看是否使用了正确的语言,在本例中为韩语。让我们用韩语单词表示电子邮件地址:이메일 주소
我可以像这样检查每个字符:
import unicodedata as ud
for chr in u'이메일 주소':
if 'HANGUL' in ud.name(chr): print "Yep, that's a Korean character."
但这似乎非常低效,尤其是对于较长的文本。当然,我可以创建一个包含所有韩语音节 block 的静态字典,但该字典将包含大约 25,000 个字符,而且检查起来效率很低。此外,我还需要一个针对日文和中文的解决方案,其中可能包含更多字符。
因此,我想对 Hangul 音节 block 使用覆盖所有 Unicode 字符的 Regex 模式。但我不知道是否有一个范围或在哪里可以找到它。
例如,此正则表达式模式涵盖所有基于拉丁语的字符,包括括号和其他常用符号:
import re
LATIN_CHARACTERS = re.compile(ur'[\x00-\x7F\x80-\xFF\u0100-\u017F\u0180-\u024F\u1E00-\u1EFF]')
有人可以翻译这个正则表达式来匹配韩语 Hangul 音节 block 吗?或者你能给我看一张表格或引用资料,让我自己查找这些范围吗?
匹配中文和日文的模式也会很有帮助。或者一个正则表达式来一次匹配所有 CJK 字符。我不需要区分日语和韩语。
这是一个用于该任务的 Python 库,但它适用于非常庞大的词典:https://github.com/EliFinkelshteyn/alphabet-detector我无法想象这对于大型文本和大量用户输入是有效的。
谢谢!
最佳答案
您是否知道 Unicode 是如何分成 block 的,以及每个 block 如何代表一个连续的代码点范围? IE,有比正则表达式更有效的解决方案。
Hangul Jamo 有一个代码块, 在 CJK block 中有附加字符, 一个 compatability block , Hangul syllables等
最有效的方法是使用 if/then
语句检查每个字符是否在可接受的范围内。您几乎肯定可以使用 C 扩展来加快速度。
例如,如果我只是检查 Hangul block (不够,但只是一个简单的起点),我会使用以下代码检查字符串中的每个字符:
def is_hangul_character(char):
'''Check if character is in the Hangul Jamo block'''
value = ord(char)
return value >= 4352 and value <= 4607
def is_hangul(string):
'''Check if all characters are in the Hangul Jamo block'''
return all(is_hangul_character(i) for i in string)
将其扩展为 8 左右 blocks 很容易包含韩文字符的。没有表查找,没有正则表达式编译。只是基于 Unicode 字符 block 的快速范围检查。
在 C 中,这也很容易(如果您想要显着提高性能,只需很少的工作即可匹配完全优化的库):
// Return 0 if a character is in Hangul Jamo block, -1 otherwise
int is_hangul_character(char32_t c)
{
if (c >= 4352 && c <= 4607) {
return 0;
}
return -1;
}
// Return 0 if all characters are in Hangul Jamo block, -1 otherwise
int is_hangul(const char32_t* string, size_t length)
{
size_t i;
for (i = 0; i < length; ++i) {
if (is_hangul_character(string[i]) < 0) {
return -1;
}
}
return 0;
}
编辑 粗略地看一下 CPython 的实现,就会发现 CPython 将这种方法用于 unicodedata。模块。 IE,尽管你自己实现它相对容易,但它是高效的。它仍然值得实现,因为您不必分配任何中间字符串,或使用多余的字符串比较(这可能是 unicodedata
模块的主要成本)。
关于python - 匹配所有韩语(韩语)字符和音节 block 的正则表达式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48074764/
我有一个加号/减号按钮,希望用户不能选择超过 20 个但不知道如何让它工作。我尝试使用 min="1"max="5 属性,但它们不起作用。这是我的代码和一个 fiddle 链接。https://jsf
我正在尝试复制顶部底部图,如示例 here但它没有正确渲染(紫色系列有 +ve 和 -ve 值,绿色为负值)留下杂乱的人工制品。我也在努力创建一个玩具示例来复制这个问题,所以我希望尽管我缺乏数据,但有
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 已关闭 6 年前。 社区去年审查了是
这个问题在这里已经有了答案: Adding two positive integers gives negative answer.Why? (4 个答案) 关闭 5 年前。 我遇到了一个奇怪的问题
有谁知道如何将字符串值类型 -4,5 或 5,4 转换为 double -4.5 或 5.4? 最佳答案 只需使用 Double.parseDouble(Locale, String); 糟糕,我很困
我正在尝试根据 TextBlob 分类插入一个仅包含“正”或“负”字符串的新数据框列:对于我的 df 的第一行,结果是 ( pos , 0.75, 0.2499999999999997)我想要' 正
我对 VBA 非常陌生,无法理解如何在一个循环中完成 2 个任务。我非常感谢您的帮助。 我已经能够根据第 3 列中的数据更改第 2 列中的数值,但我不明白如何将负值的字体更改为红色。 表格的大小每月都
欢迎, 我正在使用 jquery 通过 POST 发送表单。 这就是我获得值(value)的方式。 var mytext = $("#textareaid").val(); var dataStrin
double d = 0; // random decimal value with it's integral part within the range of Int32 and always p
我有这个字符串: var a='abc123#xyz123'; 我想构建 2 个正则表达式替换函数: 1) 用 '*' 替换所有确实有 future '#'的字符(不包括'#') 所以结果应该是这样的
我正在使用 DialogFragment。当用户从 Gmail 平板电脑应用程序的屏幕与下面示例图片中的编辑文本进行交互时,我希望正面和负面按钮保持在键盘上方。 在我的尝试中不起作用,这是我的 Dia
从组装艺术一书中,我复制了这句话: In the two’s complement system, the H.O. bit of a number is a sign bit. If the H.O
是否有更好更优雅的方法来实现下面的简单代码(diffYear、A 和 B 是数字): diffYear = yearA - yearB; if (diffYear == 0) { A = B
我正在设计一种语言,并尝试确定 true 应该是 0x01 还是 0xFF。显然,所有非零值都将转换为 true,但我正在尝试确定确切的内部表示。 每种选择的优点和缺点是什么? 最佳答案 没关系,只要
在我的 dialogfragment 类的 OnCreateDialog 中,我正在这样做: AlertDialog.Builder builder = new AlertDialog.Builder
这个问题在这里已经有了答案: Resolving ambiguous overload on function pointer and std::function for a lambda usin
我偶然发现了一个奇怪的 NSDecimalNumber 行为:对于某些值,调用 integerValue、longValue、longLongValue 等,返回意想不到的值(value)。示例: l
这个问题在这里已经有了答案: Resolving ambiguous overload on function pointer and std::function for a lambda using
我有这个正则表达式来测试用户输入是否有效: value.length === 0 || value === '-' || (!isNaN(parseFloat(value)) && /^-?\d+\.
我想用高斯混合模型拟合数据集,数据集包含大约 120k 个样本,每个样本有大约 130 个维度。当我使用 matlab 执行此操作时,我运行脚本(簇号为 1000): gm = fitgmdist(d
我是一名优秀的程序员,十分优秀!