go - 向 Https 站点发送请求

Question

本质上，我试图通过 goLang 在 https 站点上发送请求以检查站点上是否有项目。我试图尝试向主站点发出请求，但一直被拒绝访问并且需要一种方法来解决这个问题，我正在尝试从正文中获取信息以将其分开并找到正确的 ID 以检查是否有内容打开网站。

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
)

func main() {

   url := "https://www.jdsports.co.uk/"

   req, _ := http.NewRequest("GET", url, nil)

   res, _ := http.DefaultClient.Do(req)

   defer res.Body.Close()

   body, _ := ioutil.ReadAll(res.Body)

   fmt.Println(string(body)) 
}

Answer 1

稍加测试后，该特定网站似乎正在使用 Akamai Ghost，并且已配置为阻止默认的 go http 包用户代理。

默认用户代理似乎是 Go-http-client/1.1

如果你改变你的用户代理

req.Header.Set("User-Agent", "my-client-app")

该请求将起作用。但是，相关网站似乎不想以编程方式进行抓取。也许你应该尊重他们的意愿。