- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在编写一个爬虫来从某些页面检索一些数据,如何构建它的逻辑对我来说非常清楚,但我对如何正确使用选择器感到非常困惑。
我想用colly获取一些新闻的标题,我去了页面https://g1.globo.com/economia并检查我想提取信息的标题 -> 单击检查 -> 复制选择器。
选择器是
body > div.glb-grid > main > div.row.content-head.non-featured > div.title > h1
我怎样才能把它正确地放在这行代码中?
detailCollector.OnHTML("body > div.glb-grid > main > div.row.content-head.non-featured > div.title > h1", func(element *colly.HTMLElement) {
fmt.Println(element.Text)
})
如何以colly可以理解的方式正确解析这个选择器?我在 colly 文档中找不到与此相关的任何内容。
最佳答案
选择器并非特定于 colly。它正在使用 goquery的查找功能:
doc.Find(cc.Selector).Each(func(_ int, s *goquery.Selection)
但是您提供的示例代表了 CSS 选择器。因此,您可以在此处找到标准中那些内容的权威引用:https://www.w3.org/TR/selectors-3/#selectors
但是该特定网页似乎不包含您在上面寻找的选择器。
您提供的示例非常具体,这可能就是它不匹配任何内容的原因。将其分解为:
body > div.glb-grid > main > div.row.content-head.non-featured > div.title > h1
找到一个“h1”元素,它是一个 div 元素的子元素,其类列表包含标题,它本身是一个 div 元素的子元素,该元素的类列表包含所有“row”、“content-head” , "non-featured"是 main 的子元素,它是 div 元素的子元素,其类列表包含作为 body 元素的子元素的 "glb-grid"。
将此与更简单但更通用的选择器“h1”进行对比,后者仅产生网页标题,因为它似乎是文档中唯一的“h1”元素,这可以解释您的困惑。
<h1 class="header-title">
<div class="header-title-content">
<a class="header-editoria--link" href="https://g1.globo.com/economia/">Economia</a>
</div>
</h1>
除此之外,该页面使用 Javascript 调整了 DOM,您对页面上实际存在的内容有了一些移动目标。
然而,这也不全是坏消息,因为我怀疑您正在寻找的元素可能只需要:-
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
headlines := make(map[string]string)
c := colly.NewCollector()
c.OnHTML(".feed-post-link", func(e *colly.HTMLElement) {
headlines[e.Text] = e.Attr("href")
})
c.Visit("https://g1.globo.com/economia")
for hl, url := range headlines {
fmt.Printf("'%v' - (%v)\n", hl, url)
}
}
这使用一个简单的选择器选择所有具有“feed-post-link”类的 HTML 元素,它似乎包括该页面的所有标题。我在这个例子中提取了 URL 以及相应的标题,但这只是简单的说明,如果这不是您需要的,您可以忽略它们。
关于go - 如何正确使用选择器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64760683/
是否有某种方法可以使用 JPA 或 Hibernate Crtiteria API 来表示这种 SQL?或者我应该将其作为 native 执行吗? SELECT A.X FROM (SELECT X,
在查询中, select id,name,feature,marks from (....) 我想删除其 id 在另一个 select 语句中存在的那些。 从 (...) 中选择 id 我是 sql
我想响应用户在 select 元素中选择一个项目。然而这个 jQuery: $('#platypusDropDown').select(function () { alert('You sel
这个问题在这里已经有了答案: SQL select only rows with max value on a column [duplicate] (27 个回答) 关闭8年前。 我正在学习 SQL
This question already has answers here: “Notice: Undefined variable”, “Notice: Undefined index”, and
我在 php 脚本中调用 SQL。有时“DE”中没有值,如果是这种情况我想从“EN”中获取值 应该是这样的,但不是这样的 IF (EXISTS (SELECT epf_application_deta
这可能是一个奇怪的问题,但不知道如何研究它。执行以下查询时: SELECT Foo.col1, Foo.col2, Foo.col3 FROM Foo INNER JOIN Bar ON
如何在使用 Camera.DestinationType.FILE_URI. 时在 phonegap camera API 中同时选择或拾取多个图像我能够一次只选择一张图像。我可以使用 this 在
这是一个纯粹的学术问题。这两个陈述实际上是否相同? IF EXISTS (SELECT TOP 1 1 FROM Table1) SELECT 1 ELSE SELECT 0 相对 IF EXIS
我使用 JSoup 来解析 HTML 响应。我有多个 Div 标签。我必须根据 ID 选择 Div 标签。 我的伪代码是这样的 Document divTag = Jsoup.connect(link
我正在处理一个具有多个选择框的表单。当用户从 selectbox1 中选择一个选项时,我需要 selectbox2 active 的另一个值。同样,当他选择 selectbox2 的另一个值时,我需要
Acme Inc. Christa Woods Charlotte Freeman Jeffrey Walton Ella Hubbard Se
我有一个login.html其中form定义如下: First Initial Plus Last Name : 我的do_authorize如下: "; pri
$.get( 'http://www.ufilme.ro/api/load/maron_online/470', function(data
我有一个下拉列表“磅”、“克”、“千克”和“盎司”。我想要这样一种情况,当我选择 gram 来执行一个函数时,当我在输入字段中输入一个值时,当我选择 pounds 时,我想要另一个函数来执行时我在输入
我有一个 GLSL 着色器,它从输入纹理的 channel 之一(例如 R)读取,然后写入输出纹理中的同一 channel 。该 channel 必须由用户选择。 我现在能想到的就是使用一个 int
我想根据下拉列表中的选定值生成输入文本框。 Options 2 3 4 5 就在这个选择框之后,一些输入字段应该按照选定的数字出现。 最佳答案 我建议您使用响应式(Reac
我是 SQL 新手,我想问一下如何根据首选项和分组选择条目。 +----------+----------+------+ | ENTRY_ID | ROUTE_ID | TYPE | +------
我有以下表结构: CREATE TABLE [dbo].[UTS_USERCLIENT_MAPPING_USER_LIST] ( [MAPPING_ID] [int] IDENTITY(1,1
我在移除不必要的床单时遇到了问题。我查看了不同的论坛并将不同的解决方案混合在一起。 此宏删除工作表(第一张工作表除外)。 Sub wrong() Dim sht As Object Applicati
我是一名优秀的程序员,十分优秀!