mysql - 如何在 MySQL 的 utf-8 列中识别语言

Question

我的问题是如何从 MySQL 服务器的 utf-8 列中找到特定的字符集？

请注意，这不是重复问题，请仔细阅读所问内容，而不是您的想法。

目前 MySQL 确实与 utf-8 完美配合，并显示所有类型的不同语言，我在数据库中看到不同的语言没有任何问题。我使用 SQLyog 连接 MySQL 服务器，所有 SELECT 结果都是完美的，我可以看到西里尔文、日语、中文、土耳其语、法语、意大利语或阿拉伯语或任何类型的语言混合并完美显示。 my.ini 和脚本也经过完美配置并运行良好。

在这里How can I find non-ASCII characters in MySQL?我看到有些人回答了这个问题，他们的答案也非常适合查找非 ASCII 文本。但我的问题很相似，但略有不同。我想从 MySQL 服务器的 utf-8 列中找到特定的字符集。

假设，

select * from TABLE where COLUMN regexp '[^ -~]';

它返回所有非 ASCII 字符，包括西里尔字母、日语、中文、土耳其语、法语、意大利语、阿拉伯语或任何类型的语言。但我想要的是

SELECT * from TABLE WHERE COLUMN like or regexp'Japanese text only?'

换句话说，我只想选择日语编码的文本。目前我可以用它看到所有类型的语言；

select * from TABLE where COLUMN regexp '[^ -~]';

但我想选择仅日语、俄语、阿拉伯语或法语。怎么做？

数据库包含所有语言混合行和 UTF-8。我不确定在 MySQL Server 中是否可行？如果不可能，那么该怎么做？

非常感谢!

Answer 1

好吧，让我们从我放入 here 的表格开始.例如，它表示 E381yy 是平假名的 utf8 编码，而 E383yy 是片假名(日语)。 (汉字是另一回事。)

要查看 utf8 列是否包含片假名，请执行以下操作

WHERE HEX(col) REGEXP '^(..)*E383'

可能是西里尔文

WHERE HEX(col) REGEXP '^(..)*D[0-4]'

中文有点棘手，但这可能通常适用于中文(和汉字？):

WHERE HEX(col) REGEXP '^(..)*E[4-9A]'

(我将更改您的标题以避免关键字“字符集”。)

西欧(包括但不限于法语)C[23]、土耳其语(大约和其他一些)(C4|C59)、希腊语: C[EF]，希伯来语:D[67]，印度语等:E0，阿拉伯语/波斯语/波斯语/乌尔都语: D[89AB]。 (始终以 ^(..)* 为前缀。

您可能会注意到这些不一定非常具体。这是因为重叠。英式英语和美式英语只能通过几个单词的拼写来区分。几个重音字母在欧洲以各种方式共享。印度有许多不同的字符集:天城文、孟加拉文、古尔穆奇文、古吉拉特文等；这些可能是可区分的，但需要更多的研究。我认为阿拉伯语/波斯语/波斯语/乌尔都语共享一个字符集。

还有一些:

| SAMARITAN                     | E0A080        | E0A0BE        |
| DEVANAGARI                    | E0A480        | E0A5BF        |
| BENGALI                       | E0A681        | E0A7BB        |
| GURMUKHI                      | E0A881        | E0A9B5        |
| GUJARATI                      | E0AA81        | E0ABB1        |
| ORIYA                         | E0AC81        | E0ADB1        |
| TAMIL                         | E0AE82        | E0AFBA        |
| TELUGU                        | E0B081        | E0B1BF        |
| KANNADA                       | E0B282        | E0B3B2        |
| MALAYALAM                     | E0B482        | E0B5BF        |
| SINHALA                       | E0B682        | E0B7B4        |
| THAI                          | E0B881        | E0B99B        |
| LAO                           | E0BA81        | E0BB9D        |
| TIBETAN                       | E0BC80        | E0BF94        |

因此，对于梵文，'^(..)*E0A[45]'