python - Beautifulsoup 带有下拉菜单的网页抓取网站

Question

我正在尝试抓取一个具有下拉菜单的站点，用户可以在其中选择要显示的数据的年份。但是，我似乎被困在我的实现中。

这是网站网址:https://www.pgatour.com/tournaments/masters-tournament/past-results.html

这是一个个人项目，用于收集每年每个主要锦标赛的高尔夫数据。我知道如何在选择年份后提取所需的统计数据。

这是下拉菜单的网站 html 示例

<select name="year" id="pastResultsYearSelector" class="hasCustomSelect"
style="-webkit-appearance: menulist-button; width: 180px; position: absolute;
opacity: 0; height: 42px; font-size: 18px;">
            <option value="2019" selected="selected">2019</option>
            <option value="2018">2018</option>
            <option value="2017">2017</option>
            <option value="2016">2016</option>

到目前为止，这是我尝试过的:

headers = {
    'user-agent': 
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36'
    }

data = {
    'name':'2019', 'id':'pastResultYearSelector', 'class':'hasCustomSelect',
    'style':'-webkit-appearance: menulist-button; width: 180px; position: absolute; opacity: 0; height: 42px; font-size: 18px;'
    }

url = "https://www.pgatour.com/tournaments/masters-tournament/past-results.html"

r = requests.post(url, data=data, headers=headers, timeout=20)

soup = BeautifulSoup(r.text, 'html.parser')

但是我的请求似乎是无效的，因为我收到一个回复​​说找不到请求的页面。

Answer 1

正如评论中提到的，您可以使用以下 url 结构，页面按年份更新内容

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.pgatour.com/content/pgatour/tournaments/masters-tournament/past-results/jcr:content/mainParsys/pastresults.selectedYear.{}.html'.format(2017))

soup = bs(r.content, 'lxml')

你会想要做一些数据框的整理，但你可以使用 pandas 来抓取表的句柄

import requests
from bs4 import BeautifulSoup as bs
import pandas as pd

r = requests.get('https://www.pgatour.com/content/pgatour/tournaments/masters-tournament/past-results/jcr:content/mainParsys/pastresults.selectedYear.{}.html'.format(2017))
soup = bs(r.content, 'lxml')
table = pd.read_html(str(soup.select_one('table')))[0]