- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在尝试抓取网站时遇到了一个独特的情况。我通过搜索栏搜索数百个名字,然后抓取表格。然而,有些名字是独一无二的,并且在我的列表中与网站上的拼写不同。在这种情况下,我手动在网站上查找了几个名字,它仍然将我直接带到各个页面。其他时候,如果有多个具有相同或相似名字的人,它会进入姓名列表(在这种情况下,我想要在 NBA 打球的人。我已经考虑到了这一点,但我认为有必要提及) )。我该如何继续进入这些玩家的个人页面,而不是每次都运行脚本并点击错误来查看哪个玩家的拼写略有不同?同样,即使拼写略有不同,数组中的名称也会直接带您进入单独的页面或名称列表(需要 NBA 中的名称)。一些例子是 Georgios Papagiannis(在网站上列为 George Papagiannis)、Ognjen Kuzmic(列为 Ognen Kuzmic)、Nene(列为 Maybyner Nene,但会带您到姓名列表 - https://basketball.realgm.com/search?q=nene)。这看起来很难,但我觉得这是可能的。另外,似乎不是将所有抓取的数据写入 csv,而是每次都会被下一个玩家覆盖。非常感谢。
我得到的错误: AttributeError: 'NoneType' object has no attribute 'text'
import requests
from bs4 import BeautifulSoup
import pandas as pd
playernames=['Carlos Delfino', 'Nene', 'Yao Ming', 'Marcus Vinicius', 'Raul Neto', 'Timothe Luwawu-Cabarrot']
result = pd.DataFrame()
for name in playernames:
fname=name.split(" ")[0]
lname=name.split(" ")[1]
url="https://basketball.realgm.com/search?q={}+{}".format(fname,lname)
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
if soup.find('a',text=name).text==name:
url="https://basketball.realgm.com"+soup.find('a',text=name)['href']
print(url)
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
try:
table1 = soup.find('h2',text='International Regular Season Stats - Per Game').findNext('table')
table2 = soup.find('h2',text='International Regular Season Stats - Advanced Stats').findNext('table')
df1 = pd.read_html(str(table1))[0]
df2 = pd.read_html(str(table2))[0]
commonCols = list(set(df1.columns) & set(df2.columns))
df = df1.merge(df2, how='left', on=commonCols)
df['Player'] = name
print(df)
except:
print ('No international table for %s.' %name)
df = pd.DataFrame([name], columns=['Player'])
result = result.append(df, sort=False).reset_index(drop=True)
cols = list(result.columns)
cols = [cols[-1]] + cols[:-1]
result = result[cols]
result.to_csv('international players.csv', index=False)
最佳答案
我对名字相似的 NBA 球员使用了循环。您可以在下面找到下面的 CSS 选择器,从搜索表中获取 NBA 球员:
.tablesaw tr:has(a[href*="/nba/teams/"]) a[href*="/player/"]
CSS选择器含义:通过 tablesaw
查找表格类(class),查找同 table 的 child tr
有 child a
谁的href
包含/nba/teams/
文本,然后查找 a
谁的href
包含/player/
我添加了搜索玩家姓名和真实玩家姓名栏,您可以看到如何找到玩家。此列使用 insert
放置为第一列和第二列(请参阅代码中的注释)。
import requests
from bs4 import BeautifulSoup
import pandas as pd
from pandas import DataFrame
base_url = 'https://basketball.realgm.com'
player_names = ['Carlos Delfino', 'Nene', 'Yao Ming', 'Marcus Vinicius', 'Raul Neto', 'Timothe Luwawu-Cabarrot']
result = pd.DataFrame()
def def get_player_stats(search_name = None, real_name = None, player_soup = None):
table_per_game = player_soup.find('h2', text='International Regular Season Stats - Per Game')
table_advanced_stats = player_soup.find('h2', text='International Regular Season Stats - Advanced Stats')
if table_per_game and table_advanced_stats:
print('International table for %s.' % search_name)
df1 = pd.read_html(str(table_per_game.findNext('table')))[0]
df2 = pd.read_html(str(table_advanced_stats.findNext('table')))[0]
common_cols = list(set(df1.columns) & set(df2.columns))
df = df1.merge(df2, how='left', on=common_cols)
# insert name columns for the first positions
df.insert(0, 'Search Player Name', search_name)
df.insert(1, 'Real Player Name', real_name)
else:
print('No international table for %s.' % search_name)
df = pd.DataFrame([[search_name, real_name]], columns=['Search Player Name', 'Real Player Name'])
return df
for name in player_names:
url = f'{base_url}/search?q={name.replace(" ", "+")}'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
if url == response.url:
# Get all NBA players
for player in soup.select('.tablesaw tr:has(a[href*="/nba/teams/"]) a[href*="/player/"]'):
response = requests.get(base_url + player['href'])
player_soup = BeautifulSoup(response.content, 'lxml')
player_data = get_player_stats(search_name=player.text, real_name=name, player_soup=player_soup)
result = result.append(player_data, sort=False).reset_index(drop=True)
else:
player_data = get_player_stats(search_name=name, real_name=name, player_soup=soup)
result = result.append(player_data, sort=False).reset_index(drop=True)
result.to_csv('international players.csv', index=False)
# Append to existing file
# result.to_csv('international players.csv', index=False, mode='a')
关于python - 使用名称从网站上抓取数据表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59903722/
我正在尝试做这样的事情:Name[i] = "Name"+ (i+1) 在 forloop 中,这样数组的值将是:Name[0] = Name1,Name[1] = Name2,Name[2] = N
我读了here,在GSP中我们可以这样写: ${params.action} 从GSP中,我们可以使用${params.action}作为参数调用Javascript函数(请参阅here)。 是否有其
我的问题:非常具体。我正在尝试想出解析以下文本的最简单方法: ^^domain=domain_value^^version=version_value^^account_type=account_ty
我创建了一条与此类似的路线: Router::connect("/backend/:controller/:action/*"); 现在我想将符合此模式的每个 Controller 路由重命名为类似
我在 Visual Studio 2013 项目中收到以下警告: SQL71502 - Procedure has an unresolved reference to object 最佳答案 这可以
任何人都可以指导我使用名称/值 .NET 集合或 .NET 名称/值字典以获得最佳性能吗?请问最好的方法是什么?我的应用程序是 ASP.NET、WCF/WF Web 应用程序。每个集合应该有 10 到
我在 Zend Framework 2 中有一个默认模块: namespace Application\Controller; use Zend\Mvc\Controller\AbstractActi
这是表格: 关于javascript - 在 javascript 中,这是一个有效的结构吗? : document. 名称.名称.值?,我们在Stack Overflow上找到一个类似的
HtmlHelper.ActionLink(htmlhelper,string linktext,string action) 如何找出正确的路线? 如果我有这个=> HtmlHelper.Actio
我需要一些有关如何将 Controller 定义传递给嵌套在 outer 指令中的 inner 指令的帮助。请参阅http://plnkr.co/edit/Om2vKdvEty9euGXJ5qan一个
请提出一个数据结构来表示内存中的记录列表。每条记录由以下部分组成: 用户名 积分 排名(基于积分)- 可选字段- 可以存储在记录中或可以动态计算 数据结构应该支持高效实现以下操作: Insert(re
错误 : 联合只能在具有兼容列类型的表上执行。 结构(层:字符串,skyward_number:字符串,skyward_points:字符串)<> 结构(skyward_number:字符串,层:字符
我想要一个包含可变数量函数的函数,但我希望在实际使用它们之前不要对它们求值。我可以使用 () => type 语法,但我更愿意使用 => type 语法,因为它似乎是为延迟评估而定制的。 当我尝试这样
我正在编写一个 elisp 函数,它将给定键永久绑定(bind)到当前主要模式的键盘映射中的给定命令。例如, (define-key python-mode-map [C-f1] 'pytho
卡在R中的错误上。 Error in names(x) <- value : 'names' attribute must be the same length as the ve
我有字符串,其中包含名称,有时在字符串中包含用户名,后跟日期时间戳: GN1RLWFH0546-2020-04-10-18-09-52-563945.txt JOHN-DOE-2020-04-10-1
有人知道为什么我会收到此错误吗?这显示将我的项目升级到新版本的Unity3d之后。 Error CS0103: The name `Array' does not exist in the curre
由于 Embarcadero 的 NNTP 服务器从昨天开始就停止响应,我想我可以在这里问:我使用非数据库感知网格,我需要循环遍历数据集以提取列数、它们的名称、数量行数以及每行中每个字段的值。 我知道
在构建Android应用程序的子项目中,我试图根据根build.gradle中的变量设置版本代码/名称。 子项目build.gradle: apply plugin: 'com.android.app
示例用例: 我有一个带有属性“myProperty”的对象,具有 getter 和 setter(自 EcmaScript 5 起支持“Property Getters 和 Setters”:http
我是一名优秀的程序员,十分优秀!