个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
我想用 Nodejs 抓取页面“https://www.ukr.net/ua/news/sport.html”。我正在尝试使用“请求”npm 模块发出基本的获取请求，这里是示例:
const inspect = require('eyespect').inspector();
const request = require('request');
const url = 'https://www.ukr.net/news/dat/sport/2/';
const options = {
method: 'get',
json: true,
url: url
};
request(options, (err, res, body) => {
if (err) {
inspect(err, 'error posting json');
return
}
const headers = res.headers;
const statusCode = res.statusCode;
inspect(headers, 'headers');
inspect(statusCode, 'statusCode');
inspect(body, 'body');
});
但在响应正文中我只得到
body: '<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01
Transitional//EN">\n<html>\n<head>\n<META HTTP-EQUIV="expires"
CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">\n<META HTTP-EQUIV=Refresh
CONTENT="10">\n<meta HTTP-EQUIV="Content-type" CONTENT="text/html;
charset=utf-8">\n<title>www.ukr.net</title>\n</head>\n<body>\n
Идет загрузка, подождите .....\n</body>\n</html>'
如果我从 Postman 发出获取请求，我就会得到我所需要的:
请大家帮帮我。
最佳答案
您可能已被机器人防护阻止 - 这可以使用 curl 进行检查。
curl -vL https://www.ukr.net/news/dat/sport/2/
curl 似乎得到了结果，如果curl 正常工作，那么来自 Node 的请求中可能缺少某些内容，解决方案可能是模仿您选择的浏览器。
例如 - 以下是从开发人员工具中获取的类似 Chrome 的请求示例:
为请求派生以下选项:
const options = {
method: 'get',
json: true,
url: url,
gzip: true,
headers: {
"Host": "www.ukr.net",
"Pragma": "no-cache",
"Cache-Control": "no-cache",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate, sdch, br",
"Accept-Language": "en-US,en;q=0.8"
}
};
关于node.js - 抓取 Nodejs，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42042059/
24
4
0
我用运行 Node node --debug app OR node --debug-brk app 它有反应 debugger listening on port 5858 Express serv
这个问题在这里已经有了答案: What is the difference between (int *i) and (int* i) in context of both C and C++? [
我有一个应用程序，它通过消息队列将数据库写入命令分派(dispatch)给工作人员(数量非常大)，因此无法保证它们的接收顺序。 我有两个 Node ，例如“Account”和“Media”。在此假设的
有没有办法在调用 ts-node 时将选项传递给 Node ？我正在尝试在 Node 中使用一个实验性功能，如果它能与 ts-node 一起使用，那就太好了。 这就是我目前正在做的事情: ts-nod
我有一个容器化的Node应用程序，它在DigitalOcean服务器上运行。当我更新服务器上的应用程序时，该应用程序必须关闭一小段时间。为了能够更新应用程序并避免停机，我目前正在阅读零停机时间部署/蓝
我正在编写一个 Node.js 应用程序。我正在使用 request 和 Cheerio 加载一组 URL 并获取该网站的大量信息，现在假设我想要获取的只是标题: var urls = {"url_1
如果不弹出以下错误，我无法安装任何 Node.js 模块。错误代码引用package.json文件。如果知道为什么会发生这种情况，我们将不胜感激。 最佳答案 这些不是错误，它们只是警告。一切都应该如此
如果我运行(从我的项目目录中): supervisor javascripts/index.js 我得到:/usr/bin/env: Node :没有这样的文件或目录 如果我运行: node java
我已遵循使用 Node-Inspector 的所有步骤 但是当我打开应用程序时，我在控制台上看不到任何脚本或日志。 我的应用程序在端口 4000 上运行。我认为唯一可能发生冲突的是端口 8080 上的
我在android中使用rxjava2，有时会遇到这样的问题: Observable.fromArray( // maybe a list about photo url in SD
我目前正在使用 Node 光纤来编写同步服务器端代码。我主要通过 try-catch block 进行错误处理，但外部库或其他小部分异步代码中总是有可能发生错误。我正在考虑使用新的域功能来尝试将这些错
看起来node-debug是node-inspector周围的一个shell？分别什么时候应该使用？ 最佳答案 如果您安装node-debug，您只能访问node-debug命令。 如果您安装node
我目前正在代理后面工作，该代理不允许我执行此命令的 HTTP GET 请求阶段: Node node-sass/scripts/build.js 请求阶段: gyp http GET https://
听说node js可以用在服务端。我以前用过jsp。 jsp页面内部的java代码对客户端是不可见的。如果 Node js 只是 javascript，那么它如何对客户端不可见？ 最佳答案 首先，No
我正在为 Node native 插件从 node-waf 构建迁移到 node-gyp 构建系统。 node-gyp 说它支持多个目标版本，但我在使用 node-gyp 时找不到如何指定目标 Nod
给定一个 $node ，我正在尝试在以下两种输出该 $node 的方式之间做出决定。 要么 $output = theme('node', $node); 或 node_build_content($
如果package.json中的窗口A打开一个新窗口B，node-main如何访问它？这是我的代码: package.json { "main": "index.html",
我试图在我的 xml 中的特定节点 ( ) 之前插入一个注释节点。这是它的方法: function test(xmlResponse) { var parser = new DOMParse
我正在尝试做npm install wrtc使用 Node 版本 16.14.0 但这还没有完成。它在给npm error code 1所以我试图将 Node 版本更改为以前的 lts 14.19.0
当我在 Visual Studio 中运行 Node.js 应用程序时，我收到以下消息:DeprecationWarning: 'node --debug' 和 'node --debug-brk'
我是一名优秀的程序员,十分优秀！