selenium - 使用 Selenium 线时出现 ERR_PROXY_CONNECTION_FAILED

Question

我尝试完成从网站抓取数据的常规任务。

因为我发现网站里面的数据其实是HTTP请求，而且在response中可以看到json，所以想直接抓取json文件。

然后我找到了这个selenium-wire上面写着“扩展 Selenium 使您能够检查浏览器发出的请求。”

它在第一页中按预期工作。我得到了 json 文件。但是每当我使用 webdriver 单击网页中的链接时，连接就会断开，并显示 ERR_PROXY_CONNECTION_FAILED。

我试图切换回 Selenium 。它再次工作(没有 json 下载)。

那么，有没有我可以检查的潜在问题？和

还有其他获取json的方法吗？ (请求似乎不起作用，因为网站需要登录)

Answer 1

我发现如果脚本执行完毕我会收到这个错误。我把 time.sleep(1000) 放在脚本的末尾。当脚本仍在运行时，链接点击和打开新页面正常工作。