nlp - 使用斯坦福 NLP 检测语言

Question

我想知道是否可以使用 Stanford CoreNLP检测一个句子是用哪种语言写的？如果是这样，这些算法的精确度如何？

Answer 1

几乎可以肯定，此时斯坦福 COreNLP 中没有语言识别。 “几乎” - 因为不存在更难证明。

编辑:不过，以下是间接证据:

mainpage上也没有提到语言识别，也不是 CoreNLP page ，也不在 FAQ (虽然有
一个问题“我如何在其他语言上运行 CoreNLP？”)，也不在 2014paper 中CoreNLP 的作者；

结合多个 NLP 库的工具
包括斯坦福 CoreNLP 使用另一个库作为语言
标识，例如 DKPro Core ASL ;还有otherusers谈语言识别和 CoreNLP 不提这个能力

CoreNLP 的源文件包含 Language类，但与语言识别无关 - 你可以
手动检查所有 84 次出现的“语言”词 here

试试 TIKA , 或 TextCat , 或 Language Detection Library for Java (他们报告说“53 种语言的精度超过 99%”)。

一般来说，质量取决于输入文本的大小:如果它足够长(比如，至少几个单词并且不是特别选择)，那么精度可以相当不错 - 大约 95%。