gpt4 book ai didi

javascript - NodeJS + Request - 请求网站时访问被拒绝

转载 作者:搜寻专家 更新时间:2023-10-31 22:44:43 24 4
gpt4 key购买 nike

我正在尝试使用 request 请求网站的 html,但我一直收到访问被拒绝的错误。我该如何克服这个问题?下面是函数的代码:

const request = require('request');
function firstShoe() {
request('https://www.jdsports.co.uk/product/green-nike-vapormax/281735/', function (error, response, body) {
console.log('body:', body);
});
}

错误:

</BODY>
</HTML>

body: <HTML><HEAD>
<TITLE>Access Denied</TITLE>
</HEAD><BODY>
<H1>Access Denied</H1>

You don't have permission to access "http&#58;&#47;&#47;www&#46;jdsports&#46;co&#46;uk&#47;product&#47;green&#45;nike&#45;vapormax&#47;281735&#47;" on this server.<P>
Reference&#32;&#35;18&#46;609d3e17&#46;1500116386&#46;15f0cb85
</BODY>
</HTML>

通过将用户代理传递到 header 中找到解决方案。

function firstShoe() {
var options = {
headers: {'user-agent': 'node.js'}
}
request('https://www.jdsports.co.uk/product/green-nike-vapormax/281735/', options, function (error, response, body) {
console.log(body);
message.channel.send(body);
});
}

最佳答案

您收到 403 Forbidden,因为该网站阻止了所有使用非通用用户代理发送的请求(基本上他们检查 User-Agent header )。这是一种非常简单的保护措施,可以避免报废。

例如,如果您使用其标准 User-Agent 发送以下 cURL,则可以完美接收响应:

curl -v 'https://www.jdsports.co.uk/product/green-nike-vapormax/281735/'

然而,如果您重复该请求并指定一个不存在的用户代理,该请求将被阻止:

curl -v 'https://www.jdsports.co.uk/product/green-nike-vapormax/281735/' -H 'User-Agent: StackOverflow'

关于javascript - NodeJS + Request - 请求网站时访问被拒绝,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45117468/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com