python - 如何将 Python 中的所有 unicode 小写字符与正则表达式匹配？

Question

我正在尝试编写一个匹配 Python 3 中的 Unicode 小写字符的正则表达式。我正在使用 re 库。例如，re.findall(some_pattern, 'u∏ñKθ') 应该返回 ['u', 'ñ', 'θ']。

在 Sublime Text 中，我可以简单地输入 [[:lower:]] 来查找这些字符。

我知道 Python 可以使用 re.compile('[^\W\d_]') 匹配任何 Unicode 字符，但我特别需要区分大写和小写。我也知道 re.compile('[a-z]') 将匹配任何 ASCII 小写字符，但我的数据是 UTF-8，它包含许多非 ASCII 字符——我检查了.

这是否可以在 Python 3 中使用正则表达式，或者我需要采取其他方法吗？我知道其他方法可以做到这一点。我只是希望使用正则表达式。

Answer 1

您可以使用 regex module支持 POSIX 字符类:

import regex 

>>> regex.findall('[[:lower:]]', 'u∏ñKθ')
['u', 'ñ', 'θ']

或者，使用 Unicode Category Class \p{Ll} 或 \p{Lowercase_Letter}:

>>> regex.findall(r'\p{Ll}', 'u∏ñKθ')
['u', 'ñ', 'θ']

或者直接使用 Python 的字符串逻辑:

>>> [c for c in 'u∏ñKθ' if c.islower()]
['u', 'ñ', 'θ']

在任何一种情况下，都要小心这样的字符串:

>>> s2='\u0061\u0300\u00E0'
>>> s2
'àà'

第一个grapheme 'à' 是 'a' 与 '̀' 的组合字符的结果，其中第二个 'à' 是该特定代码点的结果。如果您在此处使用字符类，它将匹配 'a' 而不是组合重音:

>>> regex.findall('[[:lower:]]', s2)
['a', 'à']
>>> [c for c in s2 if c.islower()]
['a', 'à']

要解决这个问题，您需要使用更复杂的正则表达式模式或 normalize the string :

>>> regex.findall('[[:lower:]]', unicodedata.normalize('NFC',s2))
['à', 'à']

或按字形循环字形:

>>> [c for c in regex.findall(r'\X', s2) if c.islower()]
['à', 'à']