go - 扩展 Golang 的 http.Resp.Body 以处理大文件

Question

我有一个客户端应用程序，它将 http 响应的完整主体读入缓冲区并对其执行一些处理:

正文，_ = ioutil.ReadAll(containerObject.Resp.Body)

问题在于此应用程序在嵌入式设备上运行，因此太大的响应会填满设备 RAM，导致 Ubuntu 终止进程。

为避免这种情况，我会检查内容长度 header ，并在文档太大时绕过处理。然而，一些服务器(我正在看着你，Microsoft)在没有设置内容长度的情况下发送非常大的 html 响应并导致设备崩溃。

我能看到的解决这个问题的唯一方法是阅读响应主体达到一定长度。如果达到此限制，则可以创建一个新的读取器，它首先流式传输内存缓冲区，然后继续从原始 Resp.Body 读取。理想情况下，我会将这个新读取器分配给 containerObject.Resp.Body，这样调用者就不会知道其中的区别。

我是 GoLang 的新手，不确定如何编写代码。任何建议或替代解决方案将不胜感激。

编辑 1:调用者需要一个 Resp.Body 对象，因此解决方案需要与该接口(interface)兼容。

编辑 2:我无法解析文档的小块。要么处理整个文档，要么将其原封不动地传递给调用者，而不将其加载到内存中。

Answer 1

如果您需要读取响应主体的一部分，然后为其他调用者重建它，您可以使用 io.MultiReader 的组合和 ioutil.NopCloser

resp, err := http.Get("http://google.com")
if err != nil {
    return err
}
defer resp.Body.Close()

part, err := ioutil.ReadAll(io.LimitReader(resp.Body, maxReadSize))
if err != nil {
    return err
}

// do something with part

// recombine the buffered part of the body with the rest of the stream
resp.Body = ioutil.NopCloser(io.MultiReader(bytes.NewReader(part), resp.Body))

// do something with the full Response.Body as an io.Reader

如果你不能延迟 resp.Body.Close() 因为你打算在它被完整读取之前返回响应，你将需要扩充替换主体以便 Close() 方法适用于原始主体。不要将 ioutil.NopCloser 用作 io.ReadCloser，而是创建您自己的引用正确方法调用的方法。

type readCloser struct {
    io.Closer
    io.Reader
}

resp.Body = readCloser{
    Closer: resp.Body,
    Reader: io.MultiReader(bytes.NewReader(part), resp.Body),
}