java - 尝试从 google 响应中获取所有 g-link

Question

我使用以下代码生成 Google 对特定搜索的响应:

String userInput="Lemon Bars";
String google = "http://www.google.com/search?q=";
Connection.Response response =Jsoup.connect(google+userInput)
    .ignoreContentType(true)
    .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
    .referrer("http://www.google.com")
    .timeout(12000)
    .followRedirects(true)
    .execute();

我正在尝试访问所有 g-links 类型元素，以便能够收集所有这些元素并根据这些 DOM 的值计算一些逻辑。 (我无法获取这些元素，我不知道问题是什么。一旦我可以获得这些元素，我想收集更多前 3 张卡片(默认可见卡片)，就好像我按下“显示更多”按钮大约 3 次，这样我就可以收集至少 30 个 g-link 元素。

这是我尝试过的选择:Elements links = doc.select("g-link");返回 0 个元素

Answer 1

显然，当按照我在这里的方式在谷歌中进行搜索时，我没有得到与在浏览器中搜索相同的页面。

我猜页面的一部分是通过脚本(延迟加载)或在浏览器中构建的。

我无法从 HTML 源中获取 g-link 元素的简单原因是它不存在于我使用以下方法返回的源中