Java Web Crawler 用于检索 google 搜索结果

Question

这个问题之前已经被问过很多次了。然而，一些 API 随着时间的推移而发生了变化，我想知道实现这一点的好方法。

最好的方法是使用谷歌搜索 API。然而，https://developers.google.com/custom-search/json-api/v1/overview每天只有 100 个免费搜索查询。我会需要更多，但我不想花钱去做。

我使用简单的 REST api 进行了尝试，但它主要是 JavaScript 代码，我似乎没有在响应中找到我需要的内容。

我尝试使用一些库，例如 http://jsoup.org/但是，即使它的响应也不包含我需要的信息。

Answer 1

查看这个 Jsoup Crawler 示例: http://www.mkyong.com/java/jsoup-send-search-query-to-google/

在java中我使用crawler4j: https://code.google.com/p/crawler4j/