php - MySQL 正则表达式中的 Unicode？

Question

我有以下任务:建立一个汉字个人词典。用户从列表中选择单个汉字。然后，该软件会检查字符组合列表，并过滤掉所有包含不在用户单字符列表中的字符。因此，如果用户研究了 1(一) 和 10 (十)，则应该显示 11 (十一)，而不是 12 (十二)。

下一个问题是大约有12k个单个字符和100k个组合。整个列表可能会变得很长。目前我面临以下问题:MySQL 似乎无法对 unicode 字符进行正确的 REGEX 匹配。不过 PHP 可以。当我执行 MySQL 查询(见下文)时，我得到了很多误报。之后我必须再次用 PHP 过滤结果。整个事情需要很多时间。我现在有一个在 SQL 正则表达式中匹配的 180 个单个字符的示例列表，如下所示。 SQL 的结果超过 30'000 种组合。在我运行的机器上执行该 SQL 调用大约需要 6 秒。之后用 PHP 检查结果时，结果只有 1182 种组合。这是很多误报。最重要的是，检查结果还需要几秒钟。我每添加一个字符到列表中，时间就会增加大约半秒。迫切需要一种更有效的方法。

要解决这个问题，我首先需要弄清楚为什么 MySQL 有这么多误报:

如果我用 PHP 做正则表达式，我会使用 /regex/u 来指示主题是 unicode，这会给我正确的结果。

但是在 MySQL 中，我不知道如何设置这样的标志。所有 REGEXP 'regex' 结果的返回方式与我使用 PHP preg_match('/regex/', $subject) 而不是 /regex/u 的方式相同。

我试图将结果的排序规则更改为各种 utf8_* 但它不会改变结果。在数据库上添加全文索引也没有做任何事情。

这是我为突出问题而编写的测试函数。如果您有任何其他关于在其中构建检查以深入了解问题的想法，请告诉我。

$db = mysql_connect('localhost', 'kanji', '************');
$link =  mysql_select_db('kanji_data', $db);
mysql_query('SET character_set_results=utf8');
mysql_query('SET names=utf8');
mysql_query('SET character_set_client=utf8');
mysql_query('SET character_set_connection=utf8');
mysql_query('SET character_set_results=utf8');
mysql_query('SET collation_connection=utf8_general_ci');
mysql_set_charset('utf8');

echo '<pre>debug: encoding=' .mysql_client_encoding(). '</pre>';
$string = '三|二|四|一|五';
$sql = "SELECT simplified, length(simplified), searchindex FROM chinese WHERE strlen>0 AND simplified REGEXP '($string)+';";
$sql_encoding = mb_detect_encoding($sql);
echo '<pre>debug: sql string encoding: ' . $sql_encoding . '</pre>';
echo '<pre>debug: sql string: ' . $sql . '</pre>';
// echo $sql;
$rst = mysql_query($sql);
echo mysql_errno($db) . ": " . mysql_error($db). "\n";
while ($row = mysql_fetch_array($rst, MYSQL_NUM)) {
    $len = mb_strlen($row[0]);
    $result_encoding =  mb_detect_encoding($row[0]);
    $pattern = "/^(三|二|四|一|五)+$/u";
    preg_match($pattern, $row[0], $matches);
    if (count($matches) == 0) {
        echo "ERROR: ";
    }
    echo 'string: '. $row[0] . ' ('.$row[1] .' long mysql, '.$len.' long php, encoding: '.$result_encoding.')'.$row[2] ."<br>\n\n\n";
}

函数的结果可以看on this website .

如果我为了达到要求的结果而做错了某件事，我也很乐意以不同的方式解决这个问题。

Answer 1

手头的问题是 MySQL 根本无法正确地结合 Unicode 字符执行 REGEX。 REGEX 总是以字节为基础工作，而 Unicode 需要对几个字节进行分组。没有解决方案，只有解决方法。

我做的一个解决方法是用另一个表索引每个出现的字母，然后对索引而不是原始日文文本运行检查。