gpt4 book ai didi

java - 阅读网站,就像用户使用 HttpComponents 看到的一样

转载 作者:行者123 更新时间:2023-12-02 06:37:57 24 4
gpt4 key购买 nike

我想获取网站的 html,就像使用浏览器浏览一样。

当我尝试获取网站的 html 时,它与我使用 chrome 时的情况不同,我想知道是否可以使用 apache 的 HttpComponents 发出合法的 get 请求。

我尝试设置用户代理,但它不起作用......我还应该做什么?

谢谢

最佳答案

如果网页全部是静态 HTML,那么您可以这样做。如今,许多网页都是在客户端使用 Javascript 从各种来源(HTML、XML、JSON 等)动态构建的,因此用户看到的唯一表示形式是浏览器中的 DOM。除非您愿意模拟完整的浏览器执行环境(或者可以连接到浏览器),否则这是不可能的。

关于java - 阅读网站,就像用户使用 HttpComponents 看到的一样,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19454864/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com