r - R中的Web爬网:处理WebSites上的选项卡

Question

这是我的网站：

url<-https://projects.fivethirtyeight.com/2017-nba-predictions/

正如您在此问题上看到的： Web scraping in R?

您可以选择不同的日期，然后表格会更改。

但是我的问题有所不同：如何提取不同日期的表？

我只能提取与“今天”日期相关的表。

我知道每次更改日期时都需要使用id id="standings-table-wrapper"。

但是我该如何处理呢？

这是我设法提取有关“今天”日期的表的方式：

library(rvest)
library(magrittr)

page <- read_html('https://projects.fivethirtyeight.com/2017-nba-predictions/')
df <- setNames(data.frame(cbind(
  html_text(html_nodes(page, 'td.original')),
  html_text(html_nodes(page, 'td.carmelo')),
  html_text(html_nodes(page, '.change')),
  html_text(html_nodes(page, '.team a'))
)),c('elo','carmelo','1wkchange','team'))

print(df)

有什么帮助吗？

Answer 1

tl; dr;

该页面依赖于浏览器中运行的javascript来在选择其他日期时处理表格更新。用rvest发出请求时，不会发生此过程。

我将对正在发生的事情和可能的解决方案给出语言上不可知的描述。然后，我将展示该解决方案在Python中的实现，并在我阅读（并希望了解）有关如何在R中进行数据框操作以管理1周变更计算后，在R中添加一个解决方案。



一些观察：


观察：如果禁用浏览器中的javascript并重新加载页面，您将看到该表不再更新。


结论：为了获取不同日期的数据，页面上正在运行javascript（当您使用rvest发出请求时，javascript无法运行）。






观察：如果通过F12开发人员工具监视Web流量，同时选择不同的日期，则由于选择了日期，因此页面不会产生其他流量。


结论：页面加载时将显示更新表所需的所有数据，并且存在驱动它的javascript。





数据来源：

基于这两个观察，很快就可以快速搜索该页面的源文档，从而发现javascript源，并且整个表都是动态构建的。



此缩小（压缩）的js文件的源链接为：

https://projects.fivethirtyeight.com/2017-nba-predictions/js/bundle.js?v=c1d7d294b039ddcc92b494602a5e337b



表结构和人口：

进一步查看该文件，我们可以看到有关动态构建和填充表的说明：



数据填充由一系列功能处理，这些功能可从文件中的javascript对象中检索信息，例如



和辅助函数，例如，将elo和car-melo输出四舍五入：





了解数据的存储方式：

我们需要的数据都在功能15内；在数组数组中：



因此，一系列预测都包含一组团队信息。

如果我们放大一个日期（即外部预测数组中的单个项目），则会看到：



如果您在右侧查看，则可以看到该特定日期与不同团队相关联的每个区块。



检索项目并用感兴趣的列重建表：

可悲的是，如果一个正则表达式不在数组中，则此处使用的javascript符号无法使其易于使用json库进行解析。至少在Python中，我们有hjson可以处理未加引号的键（变量名），但在这种情况下尝试解析信息仍会结束EOF错误（尽管我可能需要更改正则表达式提前终止-再次沉思）。但是我们可以做的是以下几点：


请求该文件并将其内容用作数据源
抓取与功能15关联的字符串
使用正则表达式按日期生成块（即按javascript var forecasts存放的日期分组的项的数组）：





循环这些块并提取date, elo, car-melo and team的匹配项列表（再次通过正则表达式）。然后可以将这些列表合并到该日期的数据框中。 date字段必须重复其他列之一的长度（例如elo），因为它每个块仅出现一次。
添加额外的列（或直接在elo和car-melo列上执行）以获取四舍五入的elo和car-melo图（您可以在图像中进一步复制原始js实现）。
（可选）在列中添加，以便您具有团队的缩写名称和长名称。在我的Python实现中，为此使用了辅助函数get_team_dict。
然后，您需要生成1周的更改值，这意味着获取最终数据帧并在GroupBy上执行TEAM，在Sort By上执行Date desc。
对当前行和下一行之间的组执行差异计算，并从结果生成输出列。
在给定的Carmelo desc期间内，可能对date上的分组对象进行排序（如页面所示）。
做一些结果，例如写入CSV。




Py实现：

import requests, re
import pandas as pd

def get_data(n, response_text): 
    # n is function number within js e.g.  15: [function(s, _, n){}  
    # left slightly abstract so can examine various functions in particular js block    
    pattern = re.compile(f',{n}:(\[.+),{n+1}', re.DOTALL)
    func_string = pattern.findall(response_text)[0]
    return func_string

def get_team_dict(response_text):
    p_teams = re.compile(r'abbrToFull:function\(s\){return{(.*?)}')
    team_info = p_teams.findall(response_text)[0].replace('"','')
    team_dict = dict(team.split(':') for team in team_info.split(','))
    return team_dict

def get_column(block, pattern, length = 0):  #p_block_elos, p_block_carmelos, p_block_teams, p_block_date
    values = pattern.findall(block)
    if length: values = values * length
    return values

def get_df_from_processed_blocks(info_blocks, team_dict):    
    final = pd.DataFrame()

    p_block_dates = re.compile(r'last_updated:"(.*?)T')
    p_block_teams = re.compile(r'name:"(.*?)"')
    p_block_elos = re.compile(r',elo:(.*?),')
    p_block_carmelos = re.compile(r'carmelo:(.*?),')

    for block in info_blocks:

        if block == info_blocks[0]: block = block.split('forecasts:')[-1]

        teams = get_column(block, p_block_teams)
        teams_fullnames = [team_dict[team] for team in teams]

        elos = get_column(block, p_block_elos)
        rounded_elos = [round(float(elo)) for elo in elos] # generate rounded values similar to the js func

        carmelos = get_column(block, p_block_carmelos)
        rounded_carmelos = [round(float(carmelo)) for carmelo in carmelos]

        dates = get_column(block, p_block_dates, len(elos)) # determine length of `elos` so can extend single date in block to match length for zipping lists for output
        df = pd.DataFrame(list(zip(dates, teams, teams_fullnames, elos, rounded_elos, carmelos, rounded_carmelos)))

        if final.empty:
            final = df
        else: 
            final = pd.concat([final, df], ignore_index = True)

    return final

def get_date_sorted_df_with_change_column(final):
    grouped_df = final.groupby(['TEAM (Abbr)'])
    grouped_df = grouped_df.apply(lambda _df: _df.sort_values(by=['DATE'], ascending=False ))
    grouped_df['1-WEEK CHANGE'] = pd.to_numeric(grouped_df['CARM-ELO'], errors='coerce').fillna(0).astype(int).diff(periods=-1)
    # Any other desired changes to columns....
    return grouped_df

def write_csv(final, file_name): 
    final.to_csv(f'C:/Users/User/Desktop/{file_name}.csv', sep=',', encoding='utf-8-sig',index = False, header = True)

def main():   

    response_text = requests.get('https://projects.fivethirtyeight.com/2017-nba-predictions/js/bundle.js?v=c1d7d294b039ddcc92b494602a5e337b').text   

    team_dict = get_team_dict(response_text)

    p_info_blocks = re.compile(r'last_updated:".+?Z",teams.+?\]', re.DOTALL)
    info_blocks = p_info_blocks.findall(get_data(15,response_text))    
    final = get_df_from_processed_blocks(info_blocks, team_dict)
    headers = ['DATE', 'TEAM (Abbr)', 'TEAM (Full)', 'ELO', 'Rounded ELO', 'CARM-ELO', 'Rounded CARM-ELO']
    final.columns = headers

    grouped_df = get_date_sorted_df_with_change_column(final)

    write_csv(grouped_df, 'scores')

if __name__ == "__main__":

    main()

了解正则表达式：

我建议将正则表达式模式粘贴到在线正则表达式引擎中，并观察其描述。也许在浏览器或编辑器中针对源js文件进行测试。例如，生成块的正则表达式保存为 here。

然后，应该为您提供某种解释。免责声明：我不是正则表达式专家。随时提出改进建议。





比较输出：

这是网页和输出的示例比较。

网页



输出：





读：


Regex