个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
我安装了 R 3.3.1 并使用 RStudio 0.99.903。我正在尝试从以下 URL 将表读入 R:https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php
(我很清楚有一个下载按钮，但是，现在不适合我)
去年我可以使用 readHTMLTable 函数轻松完成此操作。但是，当时该网站从使用 http 更改为 https，这导致“XML 内容似乎不是 XML”错误。
我尝试了这里建议的内容:get url table into a `data.frame` R-XML-RCurl
library(XML)
library(RCurl)
url <- getURL("https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php")
df <- readHTMLTable(URL, header = T)
get URL 函数返回一个大字符串，这对我来说基本上毫无意义，这意味着 readHTMLTable 无法正常工作(我得到一个列表，其中有几个数据框，但这些对我来说也毫无意义。它是西类牙语对我不知道它们来自哪里的事物的观察):
>url
[1] "\r\n<!DOCTYPE html>\n<html lang=\"en\">\n\n<head>\n <title>2016 QB Fantasy Football Rankings, QB Cheat Sheets, QB Draft / Draft Rankings</title>\n <meta http-equiv=\"Content-Type\" content=\"text/html; charset=UTF-8\">\n <meta name=\"description\" content=\"Don’t trust any 1 fantasy football expert? We combine their rankings into 1 Expert Consensus Ranking. Our 2016 Draft QB rankings are updated daily.\">\n<link rel=\"canonical\" href=\"https://www.fantasypros.com/nfl/rankings/qb-cheatsheets.php\" />\n\n <meta property=\"fb:pages\" content=\"184352014941166\"/>\n
这种情况持续了很长一段时间。
有人可以给我一些关于如何让它发挥作用的建议吗？
谢谢。
最佳答案
从URL获取html文件
library("httr")
library("XML")
URL <- "https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php"
temp <- tempfile(fileext = ".html")
GET(url = URL, user_agent("Mozilla/5.0"), write_disk(temp))
解析 HTML 文件
doc <- htmlParse(temp)
XPath 查询是通过选择具有 class = "player-table" 的 table 元素及其具有 的子 tr 元素来构建的类 = 'mpb-player-'
xpexpr <- "//table[contains(@class, 'player-table')]/tbody/tr[contains(@class, 'mpb-player-')]"
从 doc 中获取 xpath 表达式的节点列表
listofTableNodes <- getNodeSet(doc, xpexpr)
listofTableNodes
使用节点列表的 xml 值创建数据框
df <- xmlToDataFrame(listofTableNodes, stringsAsFactors = FALSE)
# alternatively xpathSApply can be used to get the same data frame
# df <- xmlToDataFrame(xpathSApply(doc, xpexpr), stringsAsFactors = FALSE)
删除空列
df <- df[, seq(1, length(df), by = 2)]
添加列名称
xpexpr <- "//table[contains(@class, 'player-table')]/thead/tr/th"
listofTableNodes <- getNodeSet(doc, xpexpr)
listofTableNodes
colnames(df) <- gsub("[\r\n ]*$", '', xmlSApply(listofTableNodes, xmlValue))
head(df)
# Rank Player (Team) Pos Bye Best Worst Avg Std Dev ADP vs. ADP
# 1 1 Antonio Brown PIT WR1 8 1 5 1.3 0.8 1.0 0.0
# 2 2 Odell Beckham Jr. NYG WR2 8 1 9 3.1 1.6 2.0 0.0
# 3 3 Julio Jones ATL WR3 11 1 6 3.4 1.1 4.0 +1.0
# 4 4 Todd Gurley LA RB1 8 1 11 4.5 2.3 3.0 -1.0
# 5 5 David Johnson ARI RB2 9 1 19 6.1 3.5 6.0 +1.0
# 6 6 Adrian Peterson MIN RB3 6 1 22 7.6 3.8 5.0 -1.0
关于使用 readHTMLTable 从 https 网页读取表格，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39058164/
24
4
0
我想制作一张真实世界总统的 map 。 为此，我想从维基百科中抓取每位总统的图像。 第一步是从 wiki 页面获取数据: http://en.wikipedia.org/wiki/List_of_cu
我正在使用以下代码: url = "http://finance.yahoo.com/q/op?s=DIA&m=2013-07" library(XML) tabs = readHTMLTable(
试图抓取维基百科页面，我以前做过很多次类似的事情 library(XML) myURL 2 Location
这个问题在这里已经有了答案: R Error using readHTMLTable (2 个答案) 关闭 7 年前。 当我在笔记本电脑上运行这条线时， table500 <- readHTMLTa
我正在尝试从以下网址的表格中抓取数据: http://www.nfpa.org/itemDetail.asp?categoryID=953&itemID=23033 问题是包含在 标签。当我使用以
我安装了 R 3.3.1 并使用 RStudio 0.99.903。我正在尝试从以下 URL 将表读入 R:https://www.fantasypros.com/nfl/rankings/conse
我正在 R 中自学一些基本的表格网页抓取技术。 。但我在运行函数 readHTMLTable 时看到错误. unable to find an inherited method for functio
我试图使用 readHTMLTable 将一些数据存储在 R Studio 的数据框中，但它一直告诉我找不到函数“ReadHTMLTable”。我不明白我哪里做错了。有人可以花很多时间告诉我如何解决这
我正在尝试从此网站抓取数据 Extra Skater 进入数据框。从 HTML 代码中我可以看出，有多个行类，您可以通过它们切换以显示不同的表行。我只对具有标签的行感兴趣: 例如: 5v5
我正在尝试在 R 中检索 SGX 网站的价格。 myUrl="http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/securities/etfs/
假设我有一个包含多个 的 HTML 表格，这we know is perfectly legal HTML , 并尝试用 readHTMLTable 读取它如下: library(XML) tabl
这个问题在这里已经有了答案: Extract links from html table (2 个答案) 关闭 9 年前。 我有一个 XMLNodeSet 对象，它包含一个带超链接的 HTML 表格
我正在使用 XML 包将芝加哥马拉松比赛的结果抓取到 CSV 文件中。问题是该站点只能在单个页面上显示 1,000 个运行者，因此我必须抓取多个页面。到目前为止，我编写的脚本适用于第一页: rm(li
我一般在 readHTMLTable 和 XML 包中遇到编码问题。我想从波兰网站 allegro.pl(类似于 ebay 的拍卖网站)下载一些表格，但之后，波兰字体存在编码问题，即使我在中使用 en
过去，我已经能够使用 R 中的 readHTMLTable 来提取一些足球统计数据。今年再次尝试这样做时，表格没有显示，即使它们在网页上可见。这是一个例子:http://www.pro-footbal
SO 上有关于如何使用 XML 包中的 readHTMLTable 的很好的答案，我用常规的 http 页面做到了，但是我无法用 https 页面解决我的问题。 我正在尝试读取此网站上的表格(url
我正在尝试从单个 html 表中抓取/提取数据:http://www.theplantlist.org/tpl/record/kew-419248和一些非常相似的页面。我最初尝试使用以下函数来读取表格
我是一名优秀的程序员,十分优秀！