r - 从不平衡的 html 表中提取文本和链接-6ren

r - 从不平衡的 html 表中提取文本和链接

转载作者：行者123 更新时间：2023-12-04 12:45:02

25

4

我有与此格式类似的表格...

我正在尝试使用 R 提取文本和链接。

# write the HTML code from R to reproduce 
x <- "
<html>
<head>
</head>
<body>
<table>
<tbody>
<tr>
<th>site</th>
<th>country</th>
</tr>
<tr>
<td> <a href='http://www.nbc.com'>NBC</a>   <a href='https://www.cnn.com'>CNN</a>  <a href='https://www.nytimes.com'>NY Times</a> </td>
<td> US</td>
</tr>
<tr>
<td> <a href='http://www.dw-world.de/'>DW</a>  </td>
<td> DE</td>
</tr>
<tr>
<td></td>
<td>FR</td>
</tr>
<tr>
<td> <a href='http://www.bbc.co.uk'>BBC</a>   <a href='https://www.itv.co.uk'>ITV</a></td>
<td> UK</td>
</tr>
</tbody>
</table>
</body>
</html>"
write.table(x = x, file = "table.html",  quote = FALSE,
            col.names = FALSE,
            row.names = FALSE)
file.show("table.html")

最终我想要这样整洁的数据框...

# # A tibble: 7 x 3
#   site                    site_name country
#   <chr>                   <chr>     <chr>  
# 1 http://www.nbc.com      NBC       US     
# 2 https://www.cnn.com     CNN       US     
# 3 https://www.nytimes.com NY Times  US     
# 4 http://www.dw-world.de/ DW        DE     
# 5 NA                      NA        FR     
# 6 http://www.bbc.co.uk    BBC       UK     
# 7 https://www.itv.co.uk   ITV       UK

我一直在玩 rvest函数，但我无法提取链接并记住它们来自哪一行来构建上述数据框？

library(tidyverse)
library(rvest)

h <- read_html("table.html") 

# a table without any of the links... no good
h %>%
  html_table() %>%
  .[[1]]
#                  site country
# 1 NBC   CNN  NY Times      US
# 2                  DW      DE
# 3                          FR
# 4           BBC   ITV      UK

# pulls the site urls    
h %>%
  html_nodes("a") %>% 
  html_attr("href")
# [1] "http://www.nbc.com"      "https://www.cnn.com"     "https://www.nytimes.com" "http://www.dw-world.de/" "http://www.bbc.co.uk"    "https://www.itv.co.uk"     

# pulls the site names
h %>%
  html_nodes("a") %>% 
  html_text()
# [1] "NBC"      "CNN"      "NY Times" "DW"       "BBC"      "ITV" 

# looks promising, perhaps can combine with results from html_table()
library(XML)
tables <- getNodeSet(htmlParse("table.html"), "//table")
hrefFun <- function(x){
  xpathSApply(x,'./a',xmlAttrs)  
}
readHTMLTable(doc = tables[[1]], elFun = hrefFun)
# V1     V2
# 1                                                                                         list() list()
# 2 c(href = "http://www.nbc.com", href = "https://www.cnn.com", href = "https://www.nytimes.com") list()
# 3                                                                        http://www.dw-world.de/ list()
# 4                                                                                         list() list()
# 5                               c(href = "http://www.bbc.co.uk", href = "https://www.itv.co.uk") list()

# looks promising for the rows.. don't know where to go from here
h %>%
  html_nodes("tr")
# {xml_nodeset (5)}
# [1] <tr>\n<th>site</th>\r\n<th>country</th>\r\n</tr>\n
# [2] <tr>\n<td> <a href="http://www.nbc.com">NBC</a>   <a href="https://www.cnn.com">CNN</a>  <a href="https://www.nytimes.com">NY Times</a>  ...
# [3] <tr>\n<td> <a href="http://www.dw-world.de/">DW</a>  </td>\r\n<td> DE</td>\r\n</tr>\n
# [4] <tr>\n<td></td>\r\n<td>FR</td>\r\n</tr>\n
# [5] <tr>\n<td> <a href="http://www.bbc.co.uk">BBC</a>   <a href="https://www.itv.co.uk">ITV</a>\n</td>\r\n<td> UK</td>\r\n</tr>

最佳答案

您可以使用三个步骤来完成:

创建一个包含所有映射的表。

清理不平衡的表并将其转换为整洁的格式。

连接这两个表

第1步:

#create mappings 
nodes_with_info <- read_html(x) %>%
    html_nodes("a")
map_table <- tibble(site = nodes_with_info %>%
                        html_text() %>%
                        str_trim(),
                    href = nodes_with_info %>%
                        html_attr("href"))

结果:

一点点:6 x 2

site     href                   
<chr>    <chr>                  
1 NBC      http://www.nbc.com     
2 CNN      https://www.cnn.com    
3 NY Times https://www.nytimes.com
4 DW       http://www.dw-world.de/
5 BBC      http://www.bbc.co.uk   
6 ITV      https://www.itv.co.uk

第2步:

my_table <- read_html(x) %>%
    html_table() %>%
    .[[1]]

#create table of desired format
structured_table <- my_table %>%
    mutate(site = str_split(site,"  ")) %>%
    unnest() %>%
    mutate(site = str_trim(site))

结果:

country     site
1      US      NBC
2      US      CNN
3      US NY Times
4      DE       DW
5      FR         
6      UK      BBC
7      UK      ITV

第 3 步:

structured_table %>%
    left_join(map_table,by = "site")

结果:

country     site                    href
1      US      NBC      http://www.nbc.com
2      US      CNN     https://www.cnn.com
3      US NY Times https://www.nytimes.com
4      DE       DW http://www.dw-world.de/
5      FR                             <NA>
6      UK      BBC    http://www.bbc.co.uk
7      UK      ITV   https://www.itv.co.uk

关于r - 从不平衡的 html 表中提取文本和链接，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53060734/

25

4

0

文章推荐： qt - Qmake 可以接受自定义参数吗？

文章推荐： ibm-cloud - 什么是 cloudant 文档过期字段？

postgresql - 组内级联的Postgres交叉表(文本，文本)
表架构 DROP TABLE bla; CREATE TABLE bla (id INTEGER, city INTEGER, year_ INTEGER, month_ INTEGER, val I
javascript - 按一定顺序分割字符串。例如文本/0000/文本/文本
我需要拆分字符串/或从具有以下结构的字符串中获取更容易的子字符串。字符串将来自 window.location.pathname 或 window.location.href，看起来像 text/n
ios - 将对象添加到数组时更新 textView 文本，而不覆盖前一个对象的 textView 文本
每当将对象添加到数组中时，我都会尝试更新 TextView ，并在 TextView 中显示该文本，如下所示: "object 1" "object 2" 问题是，每次将新对象添加到数组时，它都会覆盖
java - Html 2 文本 - 删除 "hidden"文本
我目前正在寻找使用 Java 读取网站可见文本并将其存储为纯文本字符串的方法。换句话说，我想转换成这样: Hello stupid World进入“ Hello World ” 或者类似的东西 Un
php - Pear Mail，如何以UTF-8发送纯文本/文本+文本/html
我正在尝试以文本和 HTML 格式发送电子邮件，但无法正确发送正确的 header 。特别是，我想设置 Content-Type header ，但我找不到如何为 html 和文本部分单独设置它。这
c# - 从资源 wpf 绑定(bind)文本 block 文本
我尝试了上面的代码，但我无法绑定(bind)文本，我怎样才能将资源内部文本 bloc
unity3d - Unity 网络播放器因 UI 文本(新 Canvas 文本)而崩溃
我刚刚完成了 Space Shooter 教程，由于没有 GUIText 对象，所以我创建了 UI.Text 对象并进行了相应的编码。它在统一播放器中有效，但在构建 Web 应用程序后无效。我花了一段
ios - 为什么 UITextField 文本 setter 无法识别 [UIView 文本] 选择器
我有这个代码: - (IBAction)setButtonPressed:(id)sender { NSUserDefaults *sharedDefaults = [[NSUserDefau
java - 在 JLabel 图标上添加 JLabel 文本。使用相同的 JLabel 文本
抱歉标题含糊不清，但我想不出我想在标题中做什么。无论如何，对于图像上的文本，我使用了 JLabel 文本并将其添加到图标中。 JLabel icon = new JLabel(new Imag
javascript - "The stylesheet was not loaded because its MIME type, "文本/html "is not "文本/css"
关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。这个问题是由于错别字或无法再重现的问题引起的。虽然类似的问题可能是on-topi
html - 是否可以使用 CSS 定位 HTML(文本)？ - 它显示为(文本)作为 ID
我在将 Twitter 嵌入到我从 HTML 5 转换的 wordpress 运行网站时遇到问题。我遇到的问题是推文不是我的自定义字体... 这是我无法使用任何 css 定位的 HTML 代码，我正
java - 将 logger.debug ("message: "+ 文本)转换为 logger.debug(消息 : {}", 文本)
我正在尝试找到解决由于使用以下形式的代码而导致的冗余字符串连接问题的最佳方法: logger.debug("Entering loop, arg is: " + arg) // @1 在大多数情况下，
java分组正则表达式无法匹配字符串+文本
我写了这个测试 @Test public void removeRequestTextFromRouteError() throws Exception { String input = "F
java正则表达式匹配&[文本]
我目前正在创建一个正则表达式来拆分所有匹配以下格式的字符串:&[文本]，并且需要获取文本。字符串可能类似于:something &[text] &[text] everything &[text] 等
CSS变形词/文本
有没有办法将标题文本从一个词变形为另一个词，同时保留两个词中使用的字母？我看过的许多 css 文本动画大多是视觉的，很少有旋转整个单词的。我想要做的是从一个词过渡，例如“BEACH”到“CHANGE
学习python中matplotlib绘图设置坐标轴刻度、文本
总结matplotlib绘图如何设置坐标轴刻度大小和刻度。上代码： ?
容器内的 Flutter 文本
我在容器 (1) 中创建了容器 (2)。你能帮忙如何向容器(1)添加文本吗？下面是我的代码 return Scaffold( body: Padding( padding: c
具有渐变和渐变轮廓的 CSS 文本
我似乎找不到任何人或任何人这样做过。我试图限制我们使用的图像数量，并想创建一个带有渐变作为其“颜色”的文本，并在其周围设置渐变轮廓/描边到目前为止，我还没有看到任何将两者结合在一起的东西。我可以自
从视频游戏截图中提取 Python 文本
我正在为视频游戏暗黑破坏神 2 使用 discord.py 构建一个不和谐机器人。其中一项功能要求机器人从暗黑破坏神 2 屏幕截图中提取项目的名称和属性。我目前正在为此使用 pytesseract，但
在ggplot2中旋转 strip 文本
我很难弄清楚如何旋转 strip.text theme 中的属性来自 ggplot2 .我使用的是 R 版本 3.4.2 和 ggplot2 版本 2.2.1。以下是 MWE 的数据。 > dput

首页

博学

6Ren·AI

商城

r - 从不平衡的 html 表中提取文本和链接