python - 如何在 Selenium 中点击迭代 Web 元素列表？

Question

我希望能够单击搜索结果页面上的多个链接。为此，我尝试创建一个 Web 元素列表，查找搜索结果页面上与链接对应的所有 xpath。然后，我希望能够单击每个 xpath 的这些链接并返回到搜索结果页面并单击列表中的下一个链接。

到目前为止，我已经能够创建一个嵌套循环，该循环可以抓取页面上的所有 href 标签来创建/查找 xpath。循环的第二级旨在单击列表中与该元素对应的链接，然后返回到搜索页面以单击列表中的下一个元素。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import requests

driver = webdriver.Chrome('C:\\Users\\km13\\chromedriver.exe')
driver.get("http://www.congreso.gob.pe/pley-2016-2021")


WebDriverWait(driver, 50).until(EC.frame_to_be_available_and_switch_to_it((By.NAME, 'ventana02')))
soup = BeautifulSoup(driver.page_source, 'lxml')
table = soup.find('table', {'cellpadding' : '2'})
table_items = table.find_all('a')
for item in table_items:
    elements = driver.find_elements_by_xpath("//a[@href='" + item.get('href') + "']")
    print(elements)
    for elem in elements:
        elem.click()
        driver.back()

此编码将单击搜索结果页面上的第一个链接，转到该链接，然后单击返回搜索结果页面。但它不会迭代到元素列表中的下一个链接。不知道我写的循环有没有问题？

Answer 1

当您单击元素并且页面刷新/加载时，selenium 元素引用将被刷新。因此，您无法使用旧引用访问它们，并且当您尝试使用旧引用时，您将得到 StaleElementException。

要使用元素的最新引用，您必须在每次刷新页面时获取该元素。

这是您的脚本，只需进行最少的更改即可满足请求。

for iLink in range(iLinks):
    print(iLink)
    link = driver.find_elements_by_xpath("(//table)[2]//td//a")[iLink]
    print (link.get_attribute('href'))
    # add link related logic here
    link.click()
    # you have to wait for the next element to display
    time.sleep(1)
    # click on back in browser
    driver.back()
    time.sleep(3)
    driver.switch_to.frame('ventana02')