python - 如何使用 selenium 从网站上抓取一些链接

Question

我一直在尝试使用以下脚本解析网页中以 20012019.csv 结尾的链接，但问题是我总是遇到 timeout exception 错误。我突然意识到我做事的方式是正确的。

但是，任何有关我出错的地方的见解都将受到高度赞赏。

到目前为止我的尝试:

from selenium import webdriver

url = 'https://promo.betfair.com/betfairsp/prices'

def get_info(driver,link):
    driver.get(link)
    for item in driver.find_elements_by_css_selector("a[href$='20012019.csv']"):
        print(item.get_attribute("href"))

if __name__ == '__main__':
    driver = webdriver.Chrome()
    try:
        get_info(driver,url)
    finally:
        driver.quit()

Answer 1

您的代码没问题(尝试过并且有效)，您超时的原因是因为根据此 answer 默认超时为 60 秒而且页面很大。

在发出 get 请求之前将其添加到您的代码中(在超时之前等待 180 秒):

driver.set_page_load_timeout(180)