- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
下面是我试图用于网络抓取 Google 的代码。当我传入特定请求时,它不会返回链接列表。我不明白是什么原因造成的。有人可以帮忙吗?
const puppeteer = require("puppeteer");
const searchGoogle = async (searchQuery) => {
/** by default puppeteer launch method have headless option true*/
const browser = await puppeteer.launch({
headless: false,
});
const page = await browser.newPage();
await page.goto("https://www.google.com/");
await page.type('input[aria-label="Search"]', searchQuery);
await page.keyboard.press("Enter");
/** waitfor while loding the page, otherwise evaulate method will get failed. */
await page.waitFor(5000);
const list = await page.evaluate(() => {
let data = [];
/** this can be changed for other website.*/
const list = document.querySelectorAll(".rc .r");
for (const a of list) {
data.push({
title: a
.querySelector(".LC20lb")
.innerText.trim()
.replace(/(\r\n|\n|\r)/gm, " "),
link: a.querySelector("a").href,
});
}
return data;
});
await browser.close();
};
module.exports = searchGoogle;
最佳答案
await page.waitFor(5000);
在此上下文中会导致竞争条件。如果页面未在 5 秒内加载,您可能会得到误报。如果页面加载速度快于 5 秒,那么您就无缘无故地浪费了时间。只选择任意延迟作为最后的手段,或者如果它是应用程序逻辑的预期部分。
更好的方法是使用 page.waitForSelector
或 page.waitForNavigation
.
其次,我没有看到选择器 .rc .r
的结果。我不确定 Google 的 CSS 选择器有多稳定,但 .LC20lb
暂时粗略地看一下似乎是安全的。
把它放在一起给出:
const puppeteer = require("puppeteer"); // ^19.0.0
let browser;
(async () => {
const searchQuery = "stack overflow";
browser = await puppeteer.launch();
const [page] = await browser.pages();
await page.setRequestInterception(true);
page.on("request", request => {
request.resourceType() === "document" ?
request.continue() : request.abort();
});
await page.goto("https://www.google.com/", {waitUntil: "domcontentloaded"});
await page.waitForSelector('input[aria-label="Search"]', {visible: true});
await page.type('input[aria-label="Search"]', searchQuery);
await Promise.all([
page.waitForNavigation({waitUntil: "domcontentloaded"}),
page.keyboard.press("Enter"),
]);
await page.waitForSelector(".LC20lb", {visible: true});
const searchResults = await page.$$eval(".LC20lb", els =>
els.map(e => ({title: e.innerText, link: e.parentNode.href}))
);
console.log(searchResults);
})()
.catch(err => console.error(err))
.finally(() => browser?.close())
;
输出(您的输出可能会有所不同,具体取决于您运行脚本时 Google 显示的内容):
[
{
title: 'Stack Overflow - Where Developers Learn, Share, & Build ...',
link: 'https://stackoverflow.com/'
},
{
title: 'Stack Overflow - Wikipedia',
link: 'https://en.wikipedia.org/wiki/Stack_Overflow'
},
{
title: 'Stack Overflow Blog - Essays, opinions, and advice on the act ...',
link: 'https://stackoverflow.blog/'
},
{
title: 'The Stack Overflow Podcast - Stack Overflow Blog',
link: 'https://stackoverflow.blog/podcast/'
},
{
title: 'Stack Overflow | LinkedIn',
link: 'https://www.linkedin.com/company/stack-overflow'
}
]
另一种方法是将您的搜索词编码为 URL 查询参数并直接导航到 https://www.google.com/search?q=your+query+here
,从而节省导航和潜在的选择器错误。
与许多抓取任务一样,由于目标是从文档中获取简单的 href,您可以尝试切换到 fetch
/cheerio
并使用静态 HTML。在我的机器上,以下脚本的运行速度比使用两次导航的 Puppeteer 快大约 5 倍,比直接导航到搜索结果的 Puppeteer 快大约 3 倍。
const cheerio = require("cheerio"); // 1.0.0-rc.12
const query = "stack overflow";
const url = `https://www.google.com/search?q=${encodeURIComponent(query)}`;
fetch(url, { // Node 18 or install node-fetch
headers: {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
}
})
.then(res => res.text())
.then(html => {
const $ = cheerio.load(html);
const searchResults = [...$(".LC20lb")].map(e => ({
title: $(e).text().trim(),
link: e.parentNode.attribs.href,
}));
console.log(searchResults);
})
;
另见 Click an element on first Google search result using Puppeteer .
关于javascript - 使用 Puppeteer 抓取 Google 搜索结果链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67515088/
我有一个网站,并且我使用 javascript sdk 添加了“点赞”按钮。 这是代码 (function(d, s, id) { var js, fjs = d.g
我知道 HTML 是逐行读取的。当您链接多个 css 文件(如规范化文件和样式表文件)时,由于 CSS 重要性特异性和源顺序,样式表文件应链接在规范化文件之后。看起来这不会影响链接的 JavaScri
我正在使用官方 Bootstrap site 提供的 CDN 链接在我的网络应用程序中使用面板进行测试 在彻底检查我的代码后,面板没有显示。 但是我在 SO 上看到了类似的帖子并且 CDN 链接不同
这里是编码初学者。我正在尝试为我的移动设备网站设置断点,以便我的网站适合小屏幕。我只是想检查如果我缩小视口(viewport)的宽度,背景颜色是否会改变,但没有发生任何变化。也许我只是对一个简单的错误
举一个我想要的例子,想象一下这个字符串: $text = 'lorem ipsum About us lorem ipsum'; 如果此字符串包含一个 href 以 / 开头的 anchor 链接,则
如何链接到 LaTeX 文档的另一部分或子部分?这种链接的常规范式是什么,像[链接名称]那样写,或者像网页超链接那样写? 最佳答案 链接到另一个部分需要您的部分进行一些额外的标记。要使用的命令是: \
我有一个订单表,其中包含订单号、客户 ID 和代理 ID。然后有一个带有 id 的客户表和一个带有 id 的代理表。 我需要获取所有具有来自代理 ID 'a03' 和代理 ID 'a05' 的订单的客
假设我有: dic = {"z":"zv", "a":"av"} ## Why doesn't the following return a sorted list of keys? keys = d
我在尝试链接到外部库时得到了一些奇怪的结果。如果我从命令行运行以下命令: gcc fftwTest.c -I../extlib/fftw-3.3.5-dll32 -L../extlib/fftw-3.
我认为我没有正确理解 jQuery 链接。我正在遍历一个数组并尝试将 div 元素添加到我的包装器 CSS 类中,每个 div 元素都有一个“click”类和自定义 css top 和 left 属性
HTML 使用超级链接与网络上的另一个文档相连。几乎可以在所有的网页中找到链接。点击链接可以从一张页面跳转到另一张页面。 HTML 超链接(链接) HTML使用标签 a 来设置超文本链接。 超链
这个问题在这里已经有了答案: How do I link to part of a page? (hash?) (7 个答案) Scroll Automatically to the Bottom
我想创建一个 Docker Swarm 集群,运行一个 Elasticsearch 实例、一个 MongoDB 实例和一个 grails 应用程序,每个都在单独的机器上。我正在使用 Docker Ma
我正在尝试将 CakePHP HTML Linker 用于以下代码 Add Cuisine 由于 span 标签需要在 a 标签内。我无法根据需要获得输出。关于如何完成它的任何建议? 最佳答案 禁用链
大家好, 我最近开发了一个应用程序,很快就会提交到 App Store。我想免费提交这个应用程序,并想知道我是否可以实现一个带有 PayPal 捐赠标志的按钮,上面基本上写着“捐赠用于开发”或与此相关
我想尝试在 dlang 中使用 libuv。我下载了这样的 dlang 绑定(bind): git clone git@github.com:tamediadigital/libuv.git 现在我接
我有一个节点(节点 a),各种其他节点(节点 b/c/d/e)与之引用。 我可以创建一个带有参数的 View 作为我正在查看的节点(节点 a),并获取引用该节点的节点列表。 基本上在节点 a 查看节点
我正在尝试建立一个常见问题页面,上面有目录,下面有答案。我想点击目录中的一个问题,并在同一页面上链接到相应的答案。我如何在 CakePHP 中使用 $this->Html->link() 执行此操作方
在 WooCommerce 3.0+ 中,我使用 js 创建了一些选项卡,每个选项卡中包含来自不同类别的产品。我已经设法修改了简单产品的添加到购物车链接,其中点击了 addtocart 按钮它进入下一
Delphi 2007/2009 奇怪的问题在这里: 根据设计时定义的组件属性,是否可以在链接中包含文件或保留文件? 示例:如果我将 SomeProperty 保留为真,则在编译时,单元 SomeUn
我是一名优秀的程序员,十分优秀!