http - 限制在对 HTTP GET 请求的响应中读取的数据量

Question

我正在抓取 HTML 页面并设置了一个 HTTP 客户端，如下所示:

client := *http.Client{
        Transport: &http.Transport{
            Dial: (&net.Dialer{
                Timeout:   30 * time.Second,
                KeepAlive: 30 * time.Second,
            }).Dial,
            TLSHandshakeTimeout:   10 * time.Second,
            ResponseHeaderTimeout: 10 * time.Second,
        },
    }

现在，当我对多个 URL 发出 GET 请求时，我不想受困于传送大量数据的 URL。

response, err := client.Get(page.Url)
checkErr(err)
body, err := ioutil.ReadAll(response.Body)
checkErr(err)
page.Body = string(body)

有没有办法限制 GET 请求从资源接受并停止的数据量(字节)？

Answer 1

使用 io.LimitedReader

A LimitedReader reads from R but limits the amount of data returned to just N bytes.

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := ioutil.ReadAll(limitedReader)

或

body, err := ioutil.ReadAll(io.LimitReader(response.Body, limit))