c++ - C++ 中的单词语言检测

Question

在 Google 上搜索后，我不知道用于检测特定单词是否属于哪种语言的任何标准方法或库。

假设我有一个词，我怎么能找到它是哪种语言:英语、日语、意大利语、德语等

是否有适用于 C++ 的库？在这方面的任何建议将不胜感激!

Answer 1

从单词中识别简单的语言很容易。您不需要理解文本的语义。您不需要任何计算量大的算法，只需要一个快速的 HashMap 。问题是，您需要大量数据。幸运的是，您可能可以找到您所关心的每种语言的单词词典。为每种语言定义一个位掩码，这将允许您将诸如“the”之类的词标记为在多种语言中被识别。然后，将每个语言字典读入您的 HashMap 中。如果该词已经来自其他语言，则也只需标记当前语言即可。

假设给定的单词是英语和法语。然后当你查找它时，ex("commercial") 将映射到 ENGLISH|FRENCH，假设 ENGLISH = 1，FRENCH=2，...你会发现值 3。如果你想知道这些词是否在你的仅限 lang，您将测试:

int langs = dict["the"];
if (langs | mylang == mylang)
   // no other language

因为会有其他语言，可能更通用的方法更好。对于 vector 中的每个位集，将相应的语言加 1。对 n 个单词执行此操作。在大约 n=10 个单词之后，在典型的文本中，您将有 10 个用于主导语言，可能有 2 个用于与其相关的语言(如英语/法语)，并且您可以很有可能确定该文本是英语。请记住，即使您的文本是一种语言的，它仍然可以有另一种语言的引述，因此仅仅存在外来词并不意味着该文档是该语言的。选择一个阈值，它会工作得很好(而且非常非常快)。

显然，最困难的事情是阅读所有词典。这不是代码问题，而是数据收集问题。幸运的是，那是你的问题，而不是我的。

为了加快速度，您需要预加载 HashMap ，否则一开始加载它会很麻烦。如果这是一个问题，您将必须为 HashMap 编写存储和加载方法，以有效地阻止加载整个内容。