python - 将 Selenium 与 Scrapy 集成-6ren

python - 将 Selenium 与 Scrapy 集成

转载作者：太空狗更新时间：2023-10-30 01:21:24

25

4

有什么方法可以有效地将 Selenium 集成到 Scrapy 的页面渲染功能中(以生成屏幕截图)？

我见过的很多解决方案只是在 Scrapy 已经处理完请求后在 WebDriver 上抛出一个 Scrapy 请求/响应 URL，然后就可以解决这个问题。这会产生两倍的请求，在许多方面失败(需要登录的站点、具有动态或伪随机内容的站点等)，并使许多扩展/中间件失效。

有什么“好的”方法可以让两者协同工作吗？有没有更好的方法来生成我正在抓取的内容的屏幕截图？

最佳答案

使用 Scrapy 的 Downloader Middleware .请参阅我对另一个问题的回答以获取一个简单示例:https://stackoverflow.com/a/31186730/639806

关于python - 将 Selenium 与 Scrapy 集成，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31390569/

25

4

0

文章推荐： python - 在图形而不是轴的坐标系中设置轴标签

文章推荐： c# 获取不规则对象边缘坐标的替代快速方法？

文章推荐：计算计数器中值的均值和方差的 Pythonic 方法

selenium - Selenium IDE、Selenium RC 和 Selenium WebDriver 之间有什么区别？
Selenium IDE、Selenium RC 和 Selenium WebDriver 有什么区别；我们可以在什么样的项目中使用它们？任何建议将不胜感激。最佳答案 Selenium IDE 是一
selenium - 如何压缩 Selenium 客户端和 Selenium 服务器之间的传输
我的 Selenium 服务器在远程服务器上运行。我从我的本地 PC 启动我的 Selenium 脚本，它从网站获取数据。例如，我的 Selenium 脚本执行这段 JS 代码: JSON.stri
selenium - "//div[.//a[text()=' SELENIUM'] ]"and "//div[//a[text() ='SELENIUM' ]]"在 Selenium xpath中有什么区别
Selenium 中“//div[.//a[text()='SELENIUM']]”和“//div[//a[text()='SELENIUM']]”有什么区别xpath。有人可以澄清我在 xpath
selenium - Selenium 中每个测试的多个断言与单个断言？
我正在创建自动冒烟测试。我读到在单元测试中使用多个断言不是一个好的做法，这条规则是否也适用于使用 selenium 的 webdriver 测试？在我的冒烟测试中，有时我会使用 20 多个断言来验证
selenium - selenium IDE中添加两个变量
我在一个变量中存储了一个值，在另一个变量中存储了第二个值，现在我想将这两个数字相加。我无法做到这一点，我尝试过下面的代码，但它不起作用 store 6 w sto
selenium - Selenium 中回车键和回车键的区别
Selenium 中的回车键和回车键有什么区别？ This related SO answer并且提供的链接说明它们是不同的。我还注意到，在使用 Firefox 24.2 时，回车键将发送一个 HTM
selenium - 如何使用 Selenium 3 设置 Selenium Grid
以下是我遇到异常的详细信息: 当我使用以下命令启动节点时，出现如下错误: F:\SeleniumGrid\Jars>java -jar selenium-server-standalone-3.0.0
selenium - 是否有 Selenium 2 版本的 Selenium IDE？
我是的新手 Selenium 我对版本号有点困惑。 Selenium 2.0 2011年发布。我刚刚下载了 Selenium IDE Firefox 扩展，版本为 1.7.2 .是否还有 IDE 的
selenium - 我如何停止断言失败时关闭浏览器窗口的代码接收/ Selenium ？
我正在使用 Selenium 运行Codeception 2。我可以看到 Selenium 打开了浏览器并运行了测试。然后，我从代码接收中得到一个错误，即存在失败的断言。我知道有一个HTML文件可以
selenium - Selenium 3的新功能是什么
Closed. This question needs to be more focused。它当前不接受答案。想要改善这个问题吗？更新问题，使它仅关注editing this post的一个问题。
selenium - Selenium 运行中如何关闭弹出窗口？
我想关闭弹出窗口(已知的窗口名称)，然后返回到原始窗口。我该怎么办？如果我无法获得窗口中关闭按钮的常量。那么有没有达到目标的一般行为？最佳答案你有没有尝试过: selenium.Close()
selenium - 错误后如何继续使用webdriver/selenium
我正在用webdriver做一个测试机器人。我有一个场景，它单击一个按钮，打开一个新窗口，并且它通过特定的xpath搜索元素，但是有时没有这样的元素，因为可以将其禁用，并且出现此错误：org.open
selenium - Selenium :如何等待选择中的选项被填充？
我是第一次使用Selenium，对这些选项不知所措。我在Firefox中使用IDE。当我的页面加载时，它随后通过JSONP请求获取值，并在其中填充选择中的选项。我如何让Selenium等待选择中的
selenium-webdriver - 如何在运行 Selenium Selenium nightwatch.js测试时保持打开的开发人员工具？
我开始使用nightwatch.js编写e2e测试，我注意到我想在目标浏览器的控制台（开发人员工具）中手动检查一些错误。但总是在我打开开发者控制台时，浏览器会自动关闭它。这是selenium还是nig
selenium - Selenium 没有这种元素异常
我正在尝试使用以下方式刮除Glassdoor的评论: https://github.com/MatthewChatham/glassdoor-review-scraper 但是我得到了错误并且不知道如
selenium - Selenium Grid总是执行我的测试的多余实例
背景我设置了一个Selenium Grid项目，以在两种不同的浏览器Chrome和Firefox中执行测试。我正在使用Gradle执行测试。该测试将成功执行两次，一次按预期在Chrome中执行，一次
selenium - 使用 phpunit/selenium 保持 selenium 浏览器打开
当测试失败时，运行 selenium 测试的浏览器将关闭。这在尝试调试时没有帮助。我知道我可以在失败时选择屏幕截图，但如果没有整个上下文，这并没有帮助。在浏览器仍然可用的情况下，我可以回击并检查发生了
selenium - 使用 Selenium Web 驱动程序或 selenium RC
使用 Selenium Web 驱动程序而不是 Selenium RC 启动新的测试框架是个好主意吗？对于 Selenium Web 驱动程序，并非所有 Selenium 方法都已实现。那么使用 Se
selenium - Selenium 标识符的建议命名约定
我使用 selenium 页面对象模型来定义所有页面元素。我对元素命名所遵循的命名约定不太相信，并且感觉太长了。请对此提出建议。 @FindBy(xpath = "//tbody[@id='tabvi
selenium - 等待处理程序注册 - selenium
有一个带有按钮的 html 页面，我的 Selenium 测试正在测试，当单击按钮时，会执行一个操作。问题是，看起来点击发生在 javascript 执行之前 - 在处理程序绑定(bind)到页面之

首页

博学

6Ren·AI

商城

python - 将 Selenium 与 Scrapy 集成