regex - 如何匹配多种语言

Question

我正在用 golang 编写一个正则表达式来捕获可能以不同语言出现的主题标签。例如，很明显一个是英语，但可能会有拉丁语或阿拉伯语用户尝试使用这些字符集创建主题标签。我知道 unicode 字符类名称，但如何在不为每个字符生成正则表达式的情况下一次使用多个字符类名称？

示例代码:

r, err := regexp.Compile(`\B(\#[[:ascii:]]+\b)[^?!;]*`)

这将匹配 "#hello #ذوق" 并输出 []string{#hello, #ذوق} 但不匹配 "#ذوق"

Answer 1

我建议使用

\B#[\p{L}\p{N}\p{M}_]+

其中 [\p{L}\p{N}\p{M}_] 大致是 Unicode 感知的 \w 模式。 \p{L} 匹配任何 Unicide 字母，\p{M} 匹配任何组合标记，\p{N} 匹配任何 Unicode数字。

参见 Go demo :

package main

import (
    "fmt"
    "regexp"
)

func main() {
    text := "#hello #ذوق #citroën"
    r := regexp.MustCompile(`\B#[\p{L}\p{N}\p{M}_]+`)
    res := r.FindAllString(text, -1)
    for _, element := range res {
        fmt.Println(element)
    }
}

输出:

#hello
#ذوق

使用 text := "#ذوق", the output is #ذوق。

参见 regex demo .