Python Selenium 屏幕抓取

Question

我正在尝试屏幕抓取网站(下面的片段)

网站接受输入，导航到第二页并接受更多输入，最后显示一个表格。我在这一步失败了:

driver.find_element_by_xpath("//select[@id='agencies']/option[@value='13156']").click()

我得到的错误是:

selenium.common.exceptions.NoSuchElementException: Message: 'Unable to locate element: 

这很奇怪，因为我确实看到了该元素(注释掉了显示 ID)。有什么帮助/指点吗？

(我尝试了 requests/RoboBrowser —— 似乎无法让帖子正常工作，但也失败了)

from selenium import webdriver
from selenium import selenium
from bs4 import BeautifulSoup

driver = webdriver.Firefox()
url = 'http://www.ucrdatatool.gov/Search/Crime/Local/OneYearofData.cfm'
driver.get(url)

driver.find_element_by_xpath("//select[@id='state']/option[@value='1']").click()
#driver.find_element_by_xpath("//select[@id='groups']/option[@value='8']").click()

driver.find_element_by_xpath("//input[@type='submit' and @value='Next']").click()
driver.implicitly_wait(5) # seconds

# Display id tags
#elementsAll = driver.find_elements_by_xpath('//*[@id]')
#for elements in elementsAll:
#    print("id: ", repr(elements))
#    print("idName: ",elements.get_attribute("id"))
#    driver.implicitly_wait(5) # seconds

driver.find_element_by_xpath("//select[@id='groups']/option[@value='2']").click()
driver.find_element_by_xpath("//select[@id='year']/option[@value=1986]").click()
driver.find_element_by_xpath("//select[@id='agencies']/option[@value='13156']").click()

更新——下面的适用于Selenium。我打算选择列表框中的所有选项并保存查询结果...感谢您的指点，Alecxe!

select = Select(driver.find_element_by_id('agencies'))
for options in select.options:
    select.select_by_visible_text(options.text)

select = Select(driver.find_element_by_id('groups'))
for options in select.options:
    select.select_by_visible_text(options.text)

driver.find_element_by_xpath("//select[@id='year']/option[@value=1985]").click()

driver.find_element_by_xpath("//input[@type='submit' and @value='Get Table']").click()

Answer 1

ID 为 agents 的 select 中没有值为 13156 的 option。有从102到522的值，你可以通过打印看到它们:

[element.get_attribute('value') for element in driver.find_elements_by_xpath('//select[@id="agencies"]/option')] 

此外，不要通过值查找选项，而是使用Select并通过文本获取选项:

from selenium.webdriver.support.ui import Select

select = Select(driver.find_element_by_id('agencies'))
print select.options
select.select_by_visible_text('Selma Police Dept')