- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我想用 chromedriver 从 fanfiction.net 上抓取一些故事。
我尝试以下方法:
from selenium import webdriver
import time
path = 'D:\chromedriver\chromedriver.exe'
browser = webdriver.Chrome(path)
url1 = 'https://www.fanfiction.net/s/8832472'
url2 = 'https://www.fanfiction.net/s/5218118'
browser.get(url1)
time.sleep(5)
browser.get(url2)
第一个链接打开(有时我必须等待 5 秒)。当我想加载第二个 url 时,cloudflare 介入并希望我解决验证码 - 这是无法解决的,至少 cloudflare 无法识别这一点。
最佳答案
此错误消息...
...意味着 Cloudflare已将您对网站的请求检测为自动机器人,随后拒绝您访问该应用程序。
解决方案
在这些情况下,一个潜在的解决方案是使用 undetected-chromedriver初始化 Chrome 浏览上下文。
undetected-chromedriver是一个优化的 Selenium Chromedriver 补丁,它不会触发像 Distill Network/Imperva/DataDome/Botprotect.io 这样的反僵尸服务。它会自动下载驱动程序二进制文件并对其进行修补。
import undetected_chromedriver as uc
from selenium import webdriver
import time
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
driver = uc.Chrome(options=options)
url1 = 'https://www.fanfiction.net/s/8832472'
url2 = 'https://www.fanfiction.net/s/5218118'
driver.get(url1)
time.sleep(5)
driver.get(url2)
关于python-3.x - Cloudflare 和 Chromedriver - cloudflare 区分 chromedriver 和正版 chrome?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65636102/
独立访客总数与独立访客上限有何区别?为什么最大独立访客数小于总独立访客数?例如,在我网站的cloudflare报告中,总独立访客值是300,最大独立访客值只有55。 最佳答案 独立访客总数这是整个月的
如何在 Cloudflare 中添加域掩码?据我所知,Cloudfare 之前不允许这样做,但我不知道目前的状态。我想重定向一个带掩码的域。他们现在允许域掩码吗? 最佳答案 Cloudflare do
Cloud Flare、R2,如何上传图片? 我是 Cloud Flare 世界的新手, 我可以通过拖动上传图片,但是 如何使用编码上传图片?来自应用程序?? 我必须使用“WORKERS”
我正在使用 Cloudflare 来加速我的网站,它非常适合。不幸的是,我的一些用户需要将大于 Cloudflare 允许的最大值(即 300MB 大小)的视频上传到我的网站。有什么方法可以告诉 Cl
我正在使用 Cloudflare 来加速我的网站,它非常适合。不幸的是,我的一些用户需要将大于 Cloudflare 允许的最大值(即 300MB 大小)的视频上传到我的网站。有什么方法可以告诉 Cl
有问题,我在 cloudflare 中一直遇到。它说 - 身份验证错误(代码 10000) 登录到我的 cloudflare dashbord 时。 不知道为什么会这样,但是 我在谷歌上搜索了这个问题
我正在为我在 Google App Engine 上的应用程序开发后端系统。 我的应用程序和后端服务器与 json 通信。赞 http://server.example.com/api/check_s
我的 cloudflare 工作人员站点包含 React 应用程序获取的二进制数据。该二进制数据以 gzip 压缩形式存储,因为它压缩得非常好(我们谈论的是 20-25 倍的缩减,未压缩它太大而无法满
我正在尝试设置我的域以通过 Mailgun 和 Cloudflare 接收电子邮件,我认为我真的很接近但无法使其工作。 在 Mailgun 中,我已经验证了所有 DNS: 我认为问题出在 Cloudf
每次我访问使用 Cloudflare 的受攻击模式的网站时,它都会向我显示通常的文本,告诉我等待几秒钟,直到 Cloudflare 验证我不是机器人。每次我重新加载页面时,它都会更改我当前的 Ray
我只是有一个问题,我想获得访问者的 IP 地址。一切都很好,但一位用户只是给我 IPv6。这是我可以给你的代码,而且我刚刚安装了 cloudflare apache2 Mod。 $_SERVER['
我只是有一个问题,我想获得访问者的 IP 地址。一切都很好,但一位用户只是给我 IPv6。这是我可以给你的代码,而且我刚刚安装了 cloudflare apache2 Mod。 $_SERVER['
我们有一个匿名用户内容的网站,通常是静态的(每小时更新一次),并且每个用户的登录用户内容都不同,并且经常更新。 是否可以配置 cloudflare 以便为匿名用户缓存 HTML,但不为登录用户缓存,因
我正在查看 Cloudflare API在我们的 Cloudflare 帐户中获取域列表。 我从哪里获取 Cloudflare“X-Auth-Key”以便运行以下命令: curl.exe -X GET
我有以下 wrangler.toml .当我想使用 dev或 preview (例如 npx wrangler dev 或 npx wrangler preview )牧马人要求添加 preview_
我成功地根据以下内容使用无服务器框架部署了我的第一个 cloudflare Worker https://serverless.com/framework/docs/providers/cloudfl
Sveltekit和 Cloudflare似乎是一场伟大的比赛。我的目标是交付经过良好测试的代码,在 Cloudflare 页面/工作人员上顺利运行。为此,我使用 Cypress.io 进行端到端测试
我使用 traefik 作为我的自托管服务的反向代理,它就像一个魅力。每次我添加一个新服务时,traefik 都会检测到它并相应地路由查询。每个服务都路由到我的主域的子域。 我仍然需要做的唯一手动步骤
我遇到的问题是,我可以进入登录页面(在子域中)的唯一方法是当我为该记录关闭 cloudflare 时,当我打开 Cloudflare 时,它从不显示任何内容,一段时间后只显示ERR_CONNECT
我正在尝试为我的 Firebase 应用设置自定义域。 Firebase 托管网址:https://inventory-app-726af.firebaseapp.com/ 自定义域:inv.agsf
我是一名优秀的程序员,十分优秀!