gpt4 book ai didi

node.js - 网页抓取认证 Node js

转载 作者:太空宇宙 更新时间:2023-11-04 02:25:49 24 4
gpt4 key购买 nike

这是我的代码,这没有经过身份验证,并且进行了所需的抓取,任何人都知道这个错误在哪里,如果有人知道另一种方式并可以给出一个例子,我将不胜感激。此代码用于抓取到需要身份验证的网站,我不知道链接将如何显示给我

process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';//

var request = require('request');
var cheerio = require('cheerio');


req = request.defaults({
jar: true, // Guardar las cookies hacia un jar

});
var credentials = {
username: 'user',
password: 'pass'
};

req.post({
uri: 'http://www.website.com/',
headers: { 'content-type': 'application/x-www-form-urlencoded' },
body: require('querystring').stringify(credentials)
}, function(err, res, body){
if(err) {
console.log(err);
return;
}

req('http://www.website.com/info', function(err, res, data) {
if(err) {
console.log(err);
return;
}

var $ = cheerio.load(data);
console.log($.html());



});

});

它只是未经身份验证,因此需要抓取

最佳答案

远程站点如何进行认证?您是否记得保存身份验证调用中的 cookie,然后在需要身份验证的后续 URL 中传递 cookie?

关于node.js - 网页抓取认证 Node js,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30530667/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com