python - Scraper 不会停止点击下一页按钮

Question

我用 python 结合 selenium 编写了一个脚本，以便在搜索时显示一些名称和相应的地址，搜索关键字是“Saskatoon”。但是，在这种情况下，数据会遍历多个页面。除了一件事，我的脚本几乎完成了所有事情。

1. 即使没有更多的页面要遍历，它仍然运行。最后一页也有下一页选项的“>”符号，并且不会变灰。

这是链接:Page_link

搜索关键字:萨斯卡通(在城市/城镇字段中)。

这是我写的:

from selenium import webdriver; import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)
driver.get("above_link")
time.sleep(3)

search_input = driver.find_element_by_id("cityField")
search_input.clear()
search_input.send_keys("Saskatoon")
search_input.send_keys(Keys.ENTER)

while True:
    try:
        wait.until(EC.visibility_of_element_located((By.LINK_TEXT, "›"))).click()
        time.sleep(2)
    except:
        break
driver.quit()

顺便说一句，我刚刚从这个脚本中删除了名称和地址部分，我认为这与此处无关。谢谢。

Answer 1

您可以使用 按钮的 class 属性，因为在最后一页上它是 “ng-scope disabled” 而在其余页面上 - “ng范围”:

wait.until(EC.visibility_of_element_located((By.XPATH, "//li[@class='ng-scope']/a[.='›']"))).click()