go - 在 Go 中请求多个 URL

Question

我有以下 Go 程序:https://play.golang.org/p/-TUtJ7DIhi

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "strconv"
)

func main() {
    body, err := get("https://hacker-news.firebaseio.com/v0/topstories.json")

    if err != nil {
        panic(err)
    }

    var ids [500]int
    if err = json.Unmarshal(body, &ids); err != nil {
        panic(err)
    }

    var contents []byte
    for _, value := range ids[0:10] {
        body, err := get("https://hacker-news.firebaseio.com/v0/item/" + strconv.Itoa(value) + ".json")

        if err != nil {
            fmt.Println(err)
        } else {
            contents = append(contents, body...)
        }
    }

    fmt.Println(contents)
}

func get(url string) ([]byte, error) {
    res, err := http.Get(url)
    if err != nil {
        return nil, err
    }

    body, err := ioutil.ReadAll(res.Body)
    res.Body.Close()

    return body, err
}

运行时，它会在迭代获取请求时抛出 EOF json 错误，但当我单独点击 URL 时，它们似乎没有格式错误。

我错过了什么？

Answer 1

看起来他们的服务器出了点问题，它没有发送 Connection: close 就关闭了连接。 header 。因此，客户端会尝试根据 HTTP/1.1 规范重用连接。

您可以通过创建自己的请求并设置 Close = true 来解决此问题，或使用带有 DisableKeepAlives = true 的自定义传输

req, err := http.NewRequest("GET", url, nil)
if err != nil {
    return nil, err
}
req.Close = true

res, err := http.DefaultClient.Do(req)
if err != nil {
    return nil, err
}