- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有以下代码,可以从特定网站提取所有请求(获取所有图像、CSS、脚本、字体...)
var totalRequests = 0;
puppeteer.launch().then(async browser => {
const page = await browser.newPage();
await page.setRequestInterception(true);
page.on('request', interceptedRequest => {
interceptedRequest.continue();
});
page.on('response', response => {
totalRequests = totalRequests + 1;
console.log('Url: ' + response.url());
});
await page.goto('https://stackoverflow.com');
await browser.close().then(() => {
res.send('Requests: ' + totalRequests);
});
太好了,在控制台中我可以看到来自 stackoverflow.com 的所有 URL(Css 文件、图像文件、字体文件和 Javascript 文件)以及请求的总文件(在本例中我看到31 个请求),但由于某种原因,我最终注意到此代码并未返回所有页面请求。
如果我们转到 Google Chrome,按 F12,转到网络部分并重新加载页面(假设您位于网址 https://stackoverflow.com ),我们将看到总共 39-40 个请求文件。
问题是我的代码只返回 30 到 31 个请求,并且在控制台中我看不到像 Chrome 上那样显示的所有链接。可能会发生什么?我该怎么做才能返回所有请求,如 Google Chrome 中所示?
最佳答案
对于 stackoverflow.com
,加载的资源数量取决于浏览器窗口的大小。如果您的视口(viewport)允许,stackoverflow 会向您展示广告(在右侧边栏)。但只有当你的视口(viewport)大小足够宽时,相应的资源(JavaScript、图像等)才会被加载。您可以自己尝试一下,减小窗口的大小,直到隐藏右侧边栏,然后重新加载页面。 DevTools 将向您显示不同数量的已加载资源。
示例代码
以下示例演示如何通过设置 defaultViewport
属性来模拟更大的浏览器窗口。请注意,我在本例中完全使用了async/await语法,并且删除了page.setRequestInterception
调用,因为response
事件也将没有它就被触发(只有当你确实想修改请求或响应时才需要使用它)。
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({ // headless: false, devtools: true,
defaultViewport: { width: 1600, height: 800 }
});
const page = await browser.newPage();
var totalRequests = 0;
page.on('response', () => {
totalRequests = totalRequests + 1;
});
await page.goto('https://stackoverflow.com');
console.log(totalRequests);
await browser.close();
})();
这对我来说返回 30
,这仍然不是我们期望的数字 (~40)。
您的代码还有另一个问题。让我们打开 DevTools 看看发生了什么。如果您查看网络选项卡中的 waterfall 图,它看起来像这样:
看到那条红线了吗?这是加载事件。默认page.goto
等待这个事件。但在我们的例子中,实际上有一些文件在事件触发后正在加载(红线右侧的文件)。要等待这些资源加载,我们可以使用 page.goto 函数的选项之一。使用 waitUntil: 'networkidle0'
脚本将等待,直到不再有网络事件。
因此,如果您使用此行从顶部切换 page.goto
行,您应该会看到预期的请求数:
await page.goto('https://stackoverflow.com', { waitUntil: 'networkidle0' });
使用此设置时,上面的代码为我返回 39
,这正是您所期望的。
关于node.js - Puppeteer 不会返回来自特定网站的所有请求,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55910981/
尝试使用集成到 QTCreator 的表单编辑器,但即使我将插件放入 QtCreator.app/Contents/MacOS/designer 也不会显示。不过,相同的 dylib 文件确实适用于独
在此代码示例中。 “this.method2();”之后会读到什么?在返回returnedValue之前会跳转到method2()吗? public int method1(int returnedV
我的项目有通过gradle配置的依赖项。我想添加以下依赖项: compile group: 'org.restlet.jse', name: 'org.restlet.ext.apispark', v
我将把我们基于 Windows 的客户管理软件移植到基于 Web 的软件。我发现 polymer 可能是一种选择。 但是,对于我们的使用,我们找不到 polymer 组件具有表格 View 、下拉菜单
我的项目文件夹 Project 中有一个文件夹,比如 ED 文件夹,当我在 Eclipse 中指定在哪里查找我写入的文件时 File file = new File("ED/text.txt"); e
这是奇怪的事情,这个有效: $('#box').css({"backgroundPosition": "0px 250px"}); 但这不起作用,它只是不改变位置: $('#box').animate
这个问题在这里已经有了答案: Why does OR 0 round numbers in Javascript? (3 个答案) 关闭 5 年前。 Mozilla JavaScript Guide
这个问题在这里已经有了答案: Is the function strcmpi in the C standard libary of ISO? (3 个答案) 关闭 8 年前。 我有一个问题,为什么
我目前使用的是共享主机方案,我不确定它使用的是哪个版本的 MySQL,但它似乎不支持 DATETIMEOFFSET 类型。 是否存在支持 DATETIMEOFFSET 的 MySQL 版本?或者有计划
研究 Seam 3,我发现 Seam Solder 允许将 @Named 注释应用于包 - 在这种情况下,该包中的所有 bean 都将自动命名,就好像它们符合条件一样@Named 他们自己。我没有看到
我知道 .append 偶尔会增加数组的容量并形成数组的新副本,但 .removeLast 会逆转这种情况并减少容量通过复制到一个新的更小的数组来改变数组? 最佳答案 否(或者至少如果是,则它是一个错
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
noexcept 函数说明符是否旨在 boost 性能,因为生成的对象中可能没有记录异常的代码,因此应尽可能将其添加到函数声明和定义中?我首先想到了可调用对象的包装器,其中 noexcept 可能会产
我正在使用 Angularjs 1.3.7,刚刚发现 Promise.all 在成功响应后不会更新 angularjs View ,而 $q.all 会。由于 Promises 包含在 native
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我正在编写一个玩具(物理)矢量库,并且遇到了 GHC 坚持认为函数应该具有 Integer 的问题。是他们的类型。我希望向量乘以向量以及标量(仅使用 * ),虽然这可以通过仅使用 Vector 来实现
PHP 的 mail() 函数发送邮件正常,但 Swiftmailer 的 Swift_MailTransport 不起作用! 这有效: mail('user@example.com', 'test
我尝试通过 php 脚本转储我的数据,但没有命令行。所以我用 this script 创建了我的 .sql 文件然后我尝试使用我的脚本: $link = mysql_connect($host, $u
使用 python 2.6.4 中的 sqlite3 标准库,以下查询在 sqlite3 命令行上运行良好: select segmentid, node_t, start, number,title
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我是一名优秀的程序员,十分优秀!