java - 如何从推文中仅提取英文标签

Question

我正在使用 Twitter Streaming API 来获取实时推文，并且我正在检查 lang 。我正在从这些推文中提取主题标签，但问题是当我从推文中提取主题标签时，我得到了英语和非英语主题标签。有没有办法从特定的推文中仅提取英文主题标签。获取推文文本后提取主题标签的我的代码

private String getHashTag(String TweetText) {
     String[] words = TweetText.split(" ");
        Set<String> hashtags = new HashSet<String>();
        for (String word : words) {
            if (word.startsWith("#")) {
                hashtags.add(word);
            }
        }
        return hashtags.toString();
}

Answer 1

您应该使用Apache Tika及其用于语言检测的 API。这是一个例子:

import org.apache.tika.language.LanguageIdentifier;

LanguageIdentifier identifier = new LanguageIdentifier(word);
String language = identifier.getLanguage();

通过此解决方案，您可以获得语言，因此仅考虑英语推文。