python - 带有python的Selenium webdriver抓取动态页面找不到元素-6ren

python - 带有python的Selenium webdriver抓取动态页面找不到元素

转载作者：太空宇宙更新时间：2023-11-04 03:15:59

24

4

因此，关于 stackoverflow 上的动态内容抓取，有很多问题被问到，我仔细研究了所有这些问题，但建议的所有解决方案都不适用于以下问题:

上下文:

在 python 中使用 Selenium webdriver
我主要使用此资源:http://selenium-python.readthedocs.org/page-objects.html关于 Python.org 示例。
要抓取的页面: http://propertymap.sfplanning.org/

问题:

我无法访问此页面上的任何 DOM 元素。请注意，如果我能得到一些关于如何访问搜索栏和搜索按钮的提示，那将是一个很好的开始。 See page to scrape我最终想要的是浏览地址列表、启动搜索并复制屏幕右侧显示的信息。

我尝试了以下方法:

更改了 webdriver 的浏览器(从 Chrome 到 Firefox)

增加了页面加载的等待时间

try:
    WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, "addressInput")))
except:
    print "address input not found"

尝试通过 ID、XPATH、NAME、TAG NAME 等访问该项目，但没有任何效果。

问题

我还能尝试哪些我目前没有尝试过的(使用 Selenium webdriver)？
有些网站真的无法抓取吗？ (我不认为每次我重新加载页面时城市都使用算法生成任何随机 DOM)。

最佳答案

您可以使用此网址 http://50.17.237.182/PIM/ 获取源代码:

In [73]: from selenium import webdriver


In [74]: dr = webdriver.PhantomJS()

In [75]: dr.get("http://50.17.237.182/PIM/")

In [76]: print(dr.find_element_by_id("addressInput"))
<selenium.webdriver.remote.webelement.WebElement object at 0x7f4d21c80950>

如果您查看返回的源，则有一个带有该 src url 的框架属性:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
   "http://www.w3.org/TR/html4/strict.dtd">
<html>

<head>
  <title>San Francisco Property Information Map </title>
  <META name="description" content="Public access to useful property information and resources at the click of a mouse"><META name="keywords" content="san francisco, property, information, map, public, zoning, preservation, projects, permits, complaints, appeals">
</head>
<frameset rows="100%,*" border="0">
  <frame src="http://50.17.237.182/PIM" frameborder="0" />
  <frame frameborder="0" noresize />
</frameset>

<!-- pageok -->
<!-- 02 -->
<!-- -->
</html>

感谢@Alecxe，最简单的方法是使用dr.switch_to.frame(0):

In [77]: dr = webdriver.PhantomJS()

In [78]: dr.get("http://propertymap.sfplanning.org/")

In [79]:  dr.switch_to.frame(0)  

In [80]: print(dr.find_element_by_id("addressInput"))
<selenium.webdriver.remote.webelement.WebElement object at 0x7f4d21c80190>

如果您在浏览器中访问http://50.17.237.182/PIM/，您将看到与propertymap.sfplanning.org/完全相同的内容，唯一区别在于您可以使用前者完全访问元素。

如果你想输入一个值然后点击搜索框，它是这样的:

from selenium import webdriver


dr = webdriver.PhantomJS()
dr.get("http://propertymap.sfplanning.org/")

dr.switch_to.frame(0)

dr.find_element_by_id("addressInput").send_keys("whatever")
dr.find_element_by_xpath("//input[@title='Search button']").click()

但是如果你想提取数据，你可能会发现使用 url 进行查询是一个更简单的选择，你将从查询中得到一些 json。

关于python - 带有python的Selenium webdriver抓取动态页面找不到元素，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36272840/

24

4

0

文章推荐： c - Encrypt/Decrypt - Libsodium 中的 key 认证加密(初学者)

文章推荐： c - gforth 用字符串调用 C 函数 printf

文章推荐： c - C中中缀的前缀

文章推荐： python - 从 crontab 执行 Python 程序

watir-webdriver - 如何将 Selenium-Webdriver 对象转换为 Watir-Webdriver
我想在 Watir webdriver 中使用 selenium webdriver Actions。这可能吗？也可以在 watir webdriver 中使用 java 代码。请帮忙。我浏览了很
webdriver - Watir-webdriver 黑色截图
我正在使用 watir-webdriver 浏览我的网站并在不同的浏览器中抓取屏幕截图。有时在 IE 中截取的屏幕截图大小合适，但颜色完全是黑色。同时运行的 Firefox 测试看起来很好。 bro
selenium-webdriver - webdriver 警告服务器未提供任何堆栈跟踪信息
我已经编写了 driver.findElement(By.id("kfiDocumentLink")).click(); 用于单击“KFI 文档”按钮的代码。请找到HTML代码。 Download
webdriver - Selenium WebDriver - 如何验证多行文本
我有一个包含以下内容的 html 页面: This is Login page. Please click below link
webdriver - Java WebDriver 等待页面加载
我想获得页面加载异常，但仍然没有结果。我使用implicitlyWait 设置计时器以抛出异常。 WebDriver driver = new FirefoxDriver(); driver.man
webdriver - Selenium WebDriver 有没有录像机？
我正在使用具有 IE 特定应用程序的 Selenium Webdriver。我知道我们可以截取执行的截图。同样，是否有任何选项可以将 selenium 执行记录为视频？最佳答案 WebDriver
webdriver - Selenium WebDriver 如何克服同源策略
Selenium WebDriver 如何克服同源策略？ Selenium RC 中存在同源策略问题最佳答案 First of all “Same Origin Policy” is introdu
webdriver - 从输入字段中提取文本 - 使用 Webdriver
我将如何从输入文件中提取文本？我尝试使用 XPath/CSSSelector 但我得到一个空文本，因为它是一个输入字段。这是我的 html 代码: 结果:195 行中的 1 到 50
webdriver - 使用 webdriver 自动验证码？
如何使用 WebDriver 自动验证码？是否有其他方法可以使用 Webdriver 自动执行验证码？最佳答案您只能使用“alt”属性中的显示验证码值来自动化验证码。在 WebElement
webdriver - WebDriver 中的动态元素 ID
最近我开始学习 WebDriver，因为我工作的客户计划使用 WebDriver 来自动化 Web 应用程序。我怀疑 WebDriver 如何在网页上定位其 ID 动态变化的元素(比如每次登录应用程
webdriver - watir-webdriver 在沉重的页面上通过正则表达式定位元素非常慢
我发现 watir-webdriver 在一个非常大的页面上通过正则表达式定位元素非常慢，至少在 FF 8.0.1 中对我来说是这样。航类搜索结果页面示例(包含大约 50 个搜索结果，每个都是 htm
selenium-webdriver - WebDriver:如何等待文本在元素中消失
我有一个动态更改其文本的字段。我需要一种方法来等待文本被更改。我不知道会出现什么文本，但我知道当前那里有什么文本。所以我想等待它在元素中消失。有办法吗？最佳答案你可以试试ExpectedCondi
selenium - 在 System.setProperty ("webdriver.gecko.driver", "")中， "Path to your WebDriver"是什么意思？
自从我使用 Firefox 升级到 3.0 beta 后，我就有了这个异常(exception)。 Exception in thread "main" java.lang.IllegalStateE
webdriver - Selenium webdriver C# - 获取整页截图
任何人都可以帮助我使用 Selenium webdriver 截取整页屏幕截图。我正在使用 c#/Nunit。我正在使用的当前方法不是完整的浏览器页面。我正在使用下面的代码截取屏幕截图。 publi
selenium-webdriver - 如何从 WebDriver 的本地缓存中保存图像？
我通过 WebDriver (Chrome) 从网页下载图像 // STEP 1 $driver->get($link); // STEP 2 $els=$driver->findElements(W
selenium-webdriver - Selenium WebDriver 的默认隐式等待值是什么？
Selenium WebDriver 的默认隐式等待值是什么？ selenium 文档说它是“0”，但是当我在一个全新的项目上调用 .findElement 时，DOM 上不存在元素，它似乎在一段时间
selenium-webdriver - 测试失败后 webdriver 的超时问题和陈旧实例
我正在使用 Webdriver 测试 Web 应用程序，大致如下所述。当测试通过时，一切都很好。但是，当其中一个测试失败时，我注意到以下 2 个问题。 a) 如果一个测试失败，则套件中的其余测试将超时
webdriver - 如何调试 Selenium WebDriver 操作？
我正在使用 Selenium WebDriver 并遇到问题。在 UI 中，WebDriver 可以看到元素，但无法执行任何操作，例如单击、键入、选择等。元素由 selenium 找到并作为 web
webdriver - 使用 WebDriver 处理 UntrustedSSLcertificates
我在 Java 中使用 Web 驱动程序处理 UntrustedSSLcertificates 时陷入困境。我创建了 Firefox 配置文件，如: FirefoxProfile profile =
webdriver - 使用 Selenium WebDriver 时如何知道我使用的浏览器类型？
选择的编程语言是 Java。我已经用 Java 编写了一个方法，我将 WebDriver 作为参数传递给它... public boolean myMethod(WebDriver webDriver

首页

博学

6Ren·AI

商城

python - 带有python的Selenium webdriver抓取动态页面找不到元素

上下文:

问题: