java - 如何聚类搜索引擎关键词？

Question

从 Google Analytics(分析)中，我有一个(长)关键字列表，人们在搜索引擎中使用这些关键字来查找我的网站。我想找到“核心关键字”，假设示例:

java online training
learning java
scala training
training for java
online training java
learn scala programming

理想的结果是:“java”、“在线培训”、“培训”、“scala”和“学习”。

困难似乎在于检测完整的短语，忽略常用词 (for) 和处理变体 (learn-learning)。

有没有可以做到这一点的库(最好是用于 JVM)？或者有没有适合我自己实现的算法？

Answer 1

这是一个术语或关键字提取问题。我搜索了一下，结果是 Kea ，这看起来正是您想要的。

您可以通过以下算法实现一个简单的解决方案:

• 在文档中生成包含您想要的短语长度的 ngram 列表(选择任意短语长度限制，例如 3 或 4)
• 将 ngram 放入 Multiset
• 按照度数或计数的顺序遍历多重集的条目，可能使用任意截止值

如您所说，停用词会有问题。你可以做一些简单的事情，比如有一个停用词字典，或者你可以做一些像 Term Frequency-Inverse Document Frequency 这样的事情。这可以帮助您自动识别非常频繁的术语。 KEA 会为您做这件事，最好先调查一下。

希望对您有所帮助!