- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我开始学习使用 Python 和 Selenium 抓取网站。我选择 selenium 是因为我需要浏览网站并且还必须登录。
我编写了一个能够打开 Firefox 窗口的脚本,它会打开网站 www.flashscore.com。通过此脚本,我还可以登录并导航到他们拥有的不同运动部分(主菜单)。
代码:
<小时/>from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# open website
driver = webdriver.Firefox()
driver.get("http://www.flashscore.com")
# login
driver.find_element_by_id('signIn').click()
username = driver.find_element_by_id("email")
password = driver.find_element_by_id("passwd")
username.send_keys("*****")
password.send_keys("*****")
driver.find_element_by_name("login").click()
# go to the tennis section
link = driver.find_element_by_link_text('Tennis')
link.click()
#go to the live games tab in the tennis section
# ?????????????????????????????'
<小时/>
然后事情就变得更加困难了。例如,我还想导航到体育板 block 中的“现场比赛”和“已完成”选项卡部分。这部分是行不通的。我尝试了很多方法,但无法进入其中一个选项卡。在分析该网站时,我发现他们使用了一些 Iframe。我还找到了一些切换到 Iframes 窗口的代码。但问题是,我找不到我想要单击的选项卡所在的 Iframe 的名称。也许 Iframe 不是问题,我是否找错了方向。 (也许问题是由某些javascript引起的?)
有人可以帮我解决这个问题吗?
最佳答案
不,在这种情况下,iframe 不是问题。 “Live games”元素不在 iframe
内。通过链接文本找到它并单击:
live_games_link = driver.find_element_by_link_text("LIVE Games")
live_games_link.click()
您可能需要等待此链接可点击,然后才能实际尝试单击它:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
wait = WebDriverWait(driver, 10)
live_games_link = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, "LIVE Games")))
live_games_link.click()
关于python - 使用 Python/Selenium 进行 Webscrape Flashscore,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37736938/
我正在尝试使用 R 抓取 OECD 表格。 library(XML) OECD <- readHTMLTable('http://stats.oecd.org/Index.aspx?DataSetCo
我正在使用anaconda并试图创建一个可以在Linkedin上继续使用并从页面中刮取相关信息的刮刀。目前,我只是想让它登录并从相关页面中提取源代码。但是,下面的代码不断返回“TypeError:'N
我正在创建一个 webscraping 函数来使用数据生成 json,webscraper 部分可以工作,奇怪的是该函数返回未定义 获取产品.js module.exports.getproduct
task :fetch_front => :environment do require 'rubygems' require 'nokogiri' require 'open-uri' requi
我为 realtor.com 构建了一个 webscraper,因为我正在寻找我所在地区的房屋和代理商,这对我来说很容易,但是他们只是更改了他们网站上的代码(可能是为了阻止人们这样做),现在我是得到一
我是 Python 新手,但对 R 很了解。我正在尝试从雅虎网络抓取股票价格数据。我成功检索了价格数据并能够创建数据框。然而,雅虎包括了何时支付股息。目前,我想忽略股息,但我在过滤数据框以在支付股息时
我希望能够将来自多个 New Egg 网页的数据抓取到一个 csv 文件中。 我目前能够将单个 New Egg 网页中的数据网络抓取到一个 csv 文件中,但是我希望同时对多个页面进行网络抓取。 fr
我正在使用 DryScrape 抓取一个 javascript 页面,如果出现错误,它偶尔会终止进程。我已经尝试根据文档使用 catch 来防止它,但我还没有弄明白: try:
背景 大家好...python 和网络抓取的新手。我在 Mac (Sierra) 上,在 Firefox (87.0) 中运行 Jupyter Notebook。我正在尝试从这样的网页中抓取多个值:h
我无法解决 R 中的这个问题,如果您能在这里给我一些建议,我将不胜感激。 我正在尝试从 https://www.investing.com/rates-bonds/spain-5-year-bond-
对于一个简单的网络抓取工具,我遇到了以下代码的 unicode 编码错误。 print 'JSON scraper initializing' from bs4 import BeautifulSou
我正在尝试从 this website 抓取实时出发表使用 BeautifulSoup 。 我尝试过以下方法: caremar_live_departures_table = list(soup.se
目前的代码下载并打印到屏幕上,但我如何将打印的 Material 放入 sql 数据库中。如果我想将数据放入 CSV 文件中,Python(在美好的一天)似乎会创建该文件automatically.O
当我尝试通过 python 使用 Selenium 库对网站进行网络抓取时遇到问题。关键是我想获得一些有关收集到该站点的歌曲的信息:https://bandcamp.com/?g=all&s=top&
您好,我正在使用 Beautifulsoup 解析网站并获取名称作为输出。但是在运行脚本之后,我得到了一个 [u'word1', u'word2', u'word3'] 输出。我正在寻找的是 'wor
我是网络抓取工具的新手。我做了一些有用的东西,但要花好几个小时才能得到我需要的一切。我阅读了一些关于使用并行进程来处理 URL 的内容,但我不知道如何去做并将其合并到我已有的内容中。非常感谢您的帮助!
我正在尝试制作一个简单的nodeJS webscraper,但我不知道如何在 Json 文件中格式化我的结果。 我正在使用express、request、cheerio和fs。 这是我的代码: var
Scraper 的目标是分析哪些棋盘游戏获得最多点赞并将其打印在排序列表中。基本上是一本“名字:竖起大拇指”的字典。以下是我要排序的游戏列表: https://boardgamegeek.com/ge
我正在尝试从网站上抓取广告的 URL 链接。我在 jupyter 笔记本中有以下代码 from bs4 import BeautifulSoup import requests link = "htt
我正在尝试抓取一个房地产网站的列表。它有一个 aspx 表单,必须在提交前填写。 http://www.cbre.us/PropertyListings/Pages/Properties-for-Sa
我是一名优秀的程序员,十分优秀!