从维基百科文章中提取Java关键字

Question

我有一个文档列表，我正在根据用户对 Apache SOLR 的查询为这些文档编制索引。我想通过使用相关索引文档中的关键字来提取一些新闻文章，并将其与索引文档一起显示给用户。有没有什么算法或程序可以从文档中提取相关关键词并用于提取新闻？

Answer 1

你应该研究 TF-IDF关键词提取。大约 2 年前，我使用英语 Wiki 和一个简单的 Python 脚本对此进行了类似的处理。在继续之前，您需要回答几个问题。您可以找到一篇关于使用 TF-IDF 关键字提取的文章 here

• 您是只关心单个关键字，还是也会评估词组以及多长的词组？
• 您是否会对传入数据进行任何自然语言处理，例如标记和词干提取？
• 您是否会将关键字限制为某些文章类型？某些类别的文章可以有自己的 TF-IDF 分数，因此您可能想根据自己的需要进行试验。