Java API : downloading and calculating tf-idf for a given web page

Question

我是 IR 技术的新手。

我正在寻找可执行以下操作的基于 Java 的 API 或工具。

1. 下载给定的一组 URL
2. 提取 token
3. 删除停用词
4. 执行词干提取
5. 创建倒排索引
6. 计算TF-IDF

请告诉我 Lucene 对我有何帮助。

问候于薇

Answer 1

你可以试试 Word Vector Tool - 自最新版本以来已经有一段时间了，但在这里工作正常。它应该能够执行您提到的所有步骤。不过，我自己从未使用过爬虫部分。