个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在使用scraper库来解析HTML文档，并找到ID为foo的节点。
我想将此节点用于进一步的操作。在此示例中，我尝试使用inner类访问一些嵌套的 child ，并检索这些 child 的innerText。
use scraper::{Html, Selector};
fn main() {
let html = String::from(
r#"
<html>
<head>
<title>Test</title>
</head>
<body>
<div id="foo"><div></div><div><div></div><div class="inner"><span>x<div>yo</div></span></div></div></div>
</body>
</html>
"#,
);
let parsed_html = Html::parse_document(&html);
let fragment = parsed_html
.select(&Selector::parse("body").unwrap())
.next()
.unwrap();
let foo = fragment
.select(&Selector::parse("div#foo").unwrap())
.next()
.unwrap();
let text = foo
.children()
.nth(1)
.unwrap()
.children()
.nth(1)
.unwrap()
.children()
.map(|child| child.value())
.collect::<Vec<_>>();
println!("{:?}", text);
}
Cargo.toml文件:
[package]
name = "scraper"
version = "0.1.0"
authors = ["foo@bar"]
edition = "2018"
[dependencies]
scraper = "0.12.0"
rustup show的输出:
Default host: x86_64-apple-darwin
rustup home: /Users/foobar/.rustup
stable-x86_64-apple-darwin (directory override for '/Users/foobar')
rustc 1.43.1 (8d69840ab 2020-05-04)
[Element(<span>)]，这是映射函数的结果，在该函数中，我在element上调用了
value方法。
xyo。
scraper crate 是否具有某些方法可以像我想要的那样提取文本，还是必须创建某种递归函数？
match运算符来处理文档中某些节点不存在的情况。现在，我仅专注于如何在子节点上获取
innerText属性。
最佳答案
scraper具有一种提取文本的方法: ElementRef::text 。
从.children()调用中获得所需内容的一种方法是:
...
.children()
.filter_map(|child| ElementRef::wrap(child))
.flat_map(|el| el.text())
.collect::<Vec<_>>(); // Or `.collect::<String>()` if you want xyo concatenated
ElementRef，而不是使用很多
.children()进行工作:
let inner: String = parsed_html
.select(&Selector::parse("body div#foo:nth-child(1):nth-child(1)").unwrap()) // or "body div#foo div.inner"
.flat_map(|el| el.text())
.collect();
scraper documentation。
关于web-scraping - 如何使用爬虫箱获取元素的内部文本？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63248777/
25
4
0
虽然 HTML Scraping 从我所看到的内容中得到了很好的记录，并且我了解它的概念和实现，但是从隐藏在身份验证表单后面的内容中进行抓取的最佳方法是什么。我指的是从我合法访问的内容中抓取，因此我正
使用 Python、Selenium、Sublime 和 Firefox:我正在从这个网站上抓取链接，并想将抓取的页面(作为 html 文件)保存到一个文件夹中。但是，我已经工作了好几天，试图将这些
我需要构建一个 python 脚本，旨在抓取网页以检索“显示更多”按钮中的数字。 此数字将用作请求 URL 的参数，该 URL 将返回包含数据 + 数字的 JSON。最后一个数字将用作请求 URL 的
当 Google map 在某种程度上确认某个地点搜索时，它会重定向到特定的 Google 地点 url，否则它会返回 map 搜索结果页面。 谷歌地图搜索“manarama”是 https://ww
每当我想在 amazon.com 上抓取时，我都会失败。因为产品信息会根据 amazon.com 中的位置而变化 这个变化信息如下； 1-价格 2-运费 3-海关费用 4-发货状态 用selenium
我正在使用scrapy来抓取网站，现在我需要设置代理处理已发送的请求。谁能帮我在scrapy应用程序中解决这个设置代理。如果有，也请提供任何示例链接。我需要解决这个请求来自哪个 IP 的问题。 最佳答
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 2年前关闭。 Improve thi
我想知道是否有任何技术可以识别收集信息以供非法使用的网络爬虫。通俗地说，数据盗窃是为了创建一个网站的副本。 理想情况下，该系统会检测来自未知来源的抓取模式(如果 Google 抓取工具不在列表中，等等
我想编写一个抓取脚本来检索cnn文章中的评论。例如，本文:http://www.cnn.com/2012/01/19/politics/gop-debate/index.html?hpt=hp_t1
我正在尝试构建Instagram帐户的Microsoft Access数据库，并希望提取以下数据以及其他信息: 帐户名 关注者数量 关注的人数 帖子数(及其日期) 图片的赞数 图片上的评论数量 我在构
我正在尝试运行一个爬虫，其输出日志如下所示: 2017-04-25 20:22:22 [scrapy.spidermiddlewares.httperror] INFO: Ignoring respo
我想抓取一个网站，该网站的网页上有他们商店的所有联系方式，我可以手动记下这些信息，因此抓取该网站是合法的还是非法的。 最佳答案 是的，除非您不道德地使用它。 Web 抓取就像世界上的任何工具一样。您可
假设我有以下 html: I am going by flying mr tt 文本节点中任何等于或大
寻找任何工具(最好在 python 中)来提取特定网页收到的浏览次数。如果没有，也很方便知道我是否可以获得任何其他网页特定的分析(例如列出的那个) 最佳答案 除非您拥有此特定网页，否则无法查看它获得了
我刚刚开始研究这个，我想将我的 Netgear 路由器 ( http://192.168.0.1/setup.cgi?next_file=stattbl.htm ) 统计数据刮到一个 csv 文件中。
我目前是开发包含前端客户端的应用程序的团队的一员。 我们通过这个客户端发送用户数据，每个用户都有一个用户 ID，客户端通过 RESTful API 与我们的服务器对话，向服务器询问数据。 例如，假设我
有谁知道我如何轻松下载所有已发表的文章摘要？我正在做一个文本挖掘项目。 我能找到的最接近的一个可以在给定 pmid 的情况下一次下载一个摘要，但这对我的目的来说太慢了，因为我必须一次下载一个。 最佳答
当我使用Beautiful Soup发出请求时，我被阻止为“机器人”。 import requests from bs4 import BeautifulSoup reddit1Link = requ
由于网站抓取 Google、Bing 等违反了他们的服务条款，我想知道是否有任何搜索引擎可以抓取结果？ 最佳答案 为什么要刮？为什么不使用支持的 API？ http://code.google.com
许多页面(facebook、google+ 等)都有一个功能，可以创建带有标题、图像和来自链接的一些文本的摘要。我试图找出是否有任何关于如何执行此类功能的库或指南，但我的搜索结果根本没有帮助。 我知道
我是一名优秀的程序员,十分优秀！