php - 单词之间没有空格的语言中的断字(例如，亚洲语言)？

Question

我想让 MySQL 全文搜索与日语和中文文本以及任何其他语言一起工作。问题是这些语言以及其他可能的语言通常在单词之间没有空格。当您必须键入与文本中相同的句子时，搜索就没有用了。

我不能只在每个字符之间放一个空格，因为英语也必须有效。我想用 PHP 或 MySQL 解决这个问题。

我可以配置 MySQL 来识别应该是它们自己的索引单元的字符吗？有没有可以识别这些字符的 PHP 模块，这样我就可以在它们周围放置空格作为索引？

更新

部分解决方案:

$string_with_spaces =
  preg_replace( "/[".json_decode('"\u4e00"')."-".json_decode('"\uface"')."]/",
  " $0 ", $string_without_spaces );

这至少从我需要特别对待的一些字符中创建了一个字符类。我应该提一下，修改索引文本是可以接受的。

有人知道我需要在周围插入空格的所有字符范围吗？

此外，必须有更好的、可移植的方式来表示 PHP 中的那些字符吗？ Literal Unicode 中的源代码并不理想；我不会认出所有的角色；它们可能无法在我必须使用的所有机器上呈现。

Answer 1

上述语言的分词需要语言学方法，例如使用词典并理解基本的>词干规则。

我听说过相对成功的全文搜索应用程序，它们简单地将每个字符拆分为一个单独的单词，用中文简单地对最终用户提供的搜索条件应用相同的“标记化”。然后，搜索引擎会为以与搜索标准相同的顺序提供字符-单词的文档提供更好的排名。我不确定这是否可以扩展到日语等语言，因为平假名和片假名字符集使文本更类似于具有短字母表的欧洲语言。

编辑:
资源
这个断字问题以及相关问题是如此不平凡，以致于整本书都是关于它的。参见示例 CJKV Information Processing (CJKV 代表中文、日文、韩文和越南文；您也可以使用 CJK 关键字，因为在许多文本中，没有讨论越南文)。另见 Word Breaking in Japanese is hard有关此主题的一页纸。
可以理解的是，涵盖该主题的大部分 Material 都是用一种基本的母语编写的，因此对于那些对这些语言不那么流利的人来说用途有限。因此，为了帮助您在开始实现分词器逻辑后验证搜索引擎，您应该寻求一两个母语人士的帮助。

各种想法
您关于识别系统地暗示断字的字符(比如引号、括号、类似连字符的字符等)的想法很好，这可能是一些专业级断字符所使用的一种启发式方法。然而，您应该为此类列表寻找权威来源，而不是根据轶事调查结果从头开始组装。
一个相关的想法是在Kana-to-Kanji transitions(但我猜不是相反的方式)和可能在Hiragana-to-Katakana 或反之亦然。
与分词本身无关，索引可能 [-or may not- ;-)] 受益于每个系统的转换，比如说，平假名字符到相应的片假名字符。只是一个没有教养的想法!我对日语的了解不够，不知道这是否有帮助；直觉上，它类似于将重音字母等系统化地转换为相应的非重音字母，正如几种欧洲语言所采用的那样。

也许我之前提到的系统地索引单个字符(以及根据它们与搜索条件的接近顺序对搜索结果进行排名)的想法可以稍微改变，例如将连续的假名字符放在一起，然后一些其他规则...并产生一个不完美但足够实用的搜索引擎。

如果情况并非如此，请不要失望...如前所述，这远非微不足道，从长远来看，它可以通过暂停阅读一两本书来节省您的时间和金钱。尝试学习更多“理论”和最佳实践的另一个原因是，目前您似乎专注于断词，但很快，搜索引擎可能也受益于词干感知；事实上，这两个问题至少在语言上是相关的，并且可能会受益于串联处理。

祝你在这个令人烦恼但值得的努力中好运。