python - 需要从 selenium 服务器转储带有元素 id 的整个 DOM 树

Question

我一直在使用 python selenium 进行 Web 自动化测试。自动化的关键部分是为 HTML 页面中的用户可见对象找到正确的元素。以下 API 大部分时间都有效，但并非一直有效。

find_element_by_xxx,  xxx can be id, name, xpath, tag_name etc. 

当HTML页面太复杂时，我想搜索dom树。想知道是否可以要求 selenium 服务器序列化整个 DOM(具有可用于通过 webdriver 服务器执行操作的元素 id)。客户端(python 脚本)可以执行自己的搜索算法来找到正确的元素。

注意python selenium可以通过

获取整个html页面

drv.page_source

但是，从 selenium 服务器的角度来看，解析它并没有给出内部元素 id，因此没有用。

编辑 1: 对其进行解释以使其更清楚(感谢@alecxe):这里需要的是 selenium 服务器中所有 DOM 元素(保留其 DOM 结构)的序列化表示，该序列化表示可以发送到客户端(python selenium 测试应用程序)，它可以进行自己的搜索。

Answer 1

问题

好的，所以在某些情况下，您可能需要在客户端(Python)而不是服务器(浏览器)端对页面执行一些实质性处理。例如，如果你有某种已经用 Python 编写的机器学习系统，它需要在对它们执行操作之前分析整个页面，那么尽管可以使用一堆 find_element调用，这变得非常昂贵，因为每次调用都是客户端和服务器之间的往返。重写它以在浏览器中工作可能太昂贵了。

为什么 Selenium 的标识符不会这样做

但是，我没有看到一种有效的方法来将 DOM 与 Selenium 自己的标识符一起序列化。当您调用 find_element 或从 execute_script 调用返回 DOM 节点时(或传递给 execute_async_script 的回调)，Selenium 根据需要创建这些标识符 给脚本)。但是，如果您调用 find_element 来获取每个元素的标识符，那么您就回到了原点。我可以想象用所需信息装饰浏览器中的 DOM，但没有公共(public) API 来请求对 WebElement id 进行某种预分配。事实上，这些标识符被设计为不透明的，因此即使解决方案设法以某种方式获取所需信息，我也会担心跨浏览器的可行性和持续支持。

解决方案

然而，有一种方法可以获得适用于双方的寻址系统:XPath。思路是在客户端把DOM序列化解析成一棵树，然后得到你感兴趣的节点的XPath，用它来得到对应的WebElement。因此，如果您必须执行数十次客户端-服务器往返以确定需要执行单击的单个元素，您可以将其减少为页面源的初始查询加上单个 find_element 使用您需要的 XPath 调用。

这是一个 super 简单的概念证明。它获取 Google 主页的主要输入字段。

from StringIO import StringIO

from selenium import webdriver
import lxml.etree

#
# Make sure that your chromedriver is in your PATH, and use the following line...
#
driver = webdriver.Chrome()
#
# ... or, you can put the path inside the call like this:
# driver = webdriver.Chrome("/path/to/chromedriver")
#

parser = lxml.etree.HTMLParser()

driver.get("http://google.com")

# We get this element only for the sake of illustration, for the tests later.
input_from_find = driver.find_element_by_id("gbqfq")
input_from_find.send_keys("foo")

html = driver.execute_script("return document.documentElement.outerHTML")
tree = lxml.etree.parse(StringIO(html), parser)

# Find our element in the tree.
field = tree.find("//*[@id='gbqfq']")
# Get the XPath that will uniquely select it.
path = tree.getpath(field)

# Use the XPath to get the element from the browser.
input_from_xpath = driver.find_element_by_xpath(path)

print "Equal?", input_from_xpath == input_from_find
# In JavaScript we would not call ``getAttribute`` but Selenium treats
# a query on the ``value`` attribute as special, so this works.
print "Value:", input_from_xpath.get_attribute("value")

driver.quit()

注意事项:

1. 上面的代码没有使用driver.page_source，因为Selenium 的文档声明不能保证它返回的内容的新鲜度。它可以是当前 DOM 的状态，也可以是页面首次加载时 DOM 的状态。

2. 此解决方案遇到的问题与 find_element 遇到的有关动态内容的问题完全相同。如果在进行分析时 DOM 发生变化，那么您正在处理 DOM 的陈旧表示。

3. 如果您在执行分析时必须生成 JavaScript 事件，并且这些事件会更改 DOM，那么您需要再次获取 DOM。 (这与上一点类似，但使用 find_element 调用的解决方案可以通过仔细排列调用顺序来避免我在this 点中讨论的问题。 )

4. lxml 的树可能在结构上与 DOM 树不同，从 lxml 获得的 XPath 确实如此不处理 DOM 中的相应元素。 lxml 处理的是浏览器传递给它的 HTML 的清理序列化 View 。因此，只要编写代码来防止我在第 2 点和第 3 点中提到的问题，我认为这不太可能发生，但并非不可能。