gpt4 book ai didi

python-3.x - 网页抓取 : How to tell in general if a page has content rendered in javascript

转载 作者:行者123 更新时间:2023-12-04 07:58:42 25 4
gpt4 key购买 nike

一般情况下,您如何判断网站何时使用 javascript 呈现内容?我通常使用 bs4 进行抓取,当我找不到标签时,我不确定是因为它的 javascript 呈现(bs4 无法检测到)还是我做错了什么。

最佳答案

将请求的输出与浏览器请求返回的 html 进行比较。在 Chrome 和 Firefox 中,按 F12 将出现控制台。在网络选项卡下,您可以看到所有已发出的请求。如果“网络”选项卡为空,请刷新页面。网络选项卡中第一个请求的响应应该与您从 Python 请求收到的响应相匹配。如果不匹配,要么是您的请求与浏览器请求不同,要么是 javascript 正在做一些后处理。

“网络”选项卡中的后续请求可能来自正在运行的 javascript、来自 iframe、图像或更多。

关于python-3.x - 网页抓取 : How to tell in general if a page has content rendered in javascript,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66575569/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com