python - 是否有现有的库或 api 可用于分隔基于字符的语言中的单词？

Question

我正在从事一个 Python 业余爱好项目，该项目涉及使用以该语言编写的大量文本为各种语言创建字典。对于大多数语言，这是相对简单的，因为我可以使用单词之间的空格分隔符将一段标记化为字典中的单词，但例如，中文不在单词之间使用空格字符。如何将一段中文文本标记为单词？

我的搜索发现这是一个有点复杂的问题，所以我想知道是否有现成的解决方案可以通过 api 或任何其他语言在 Python 或其他地方解决这个问题。这一定是一个常见问题，因为任何为亚洲语言制作的搜索引擎都需要克服这个问题才能提供相关结果。

我尝试使用 Google 进行搜索，但我什至不确定这种类型的标记化称为什么，所以我的结果没有找到任何东西。也许只是朝着正确的方向轻推会有所帮助。

Answer 1

语言标记化是自然语言处理 (NLP) 的一个关键方面。这对于大公司和大学来说是一个巨大的课题，并且已经成为许多博士论文的主题。

我刚刚提交了对您的问题的修改以添加“nlp”标签。我建议您查看“nlp”标签的“关于”页面。您会找到指向网站的链接，例如 Natural Language Tool Kit ，其中包括一个基于 Python 的分词器。

您还可以在 Google 中搜索以下术语:“语言标记化”和 NLP。