http - 释放未使用的内存？

Question

我正在使用以下函数下载小于 20MB 的文件。它将整个内容读取到内存中，因为另一个函数必须在字节上执行工作才能将其写入磁盘。

func getURL(url string) ([]byte, error) {
    resp, err := http.Get(url)
        if err != nil {
            return nil, fmt.Errorf("getURL: %s", err)
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
            return nil, fmt.Errorf("getURL: %s", err)
    }

    return body, nil
}

这工作正常，但系统消耗了所有内存。

是否可以在 body 被另一个函数处理后释放它使用的内存，这样内存使用就不会大于当前正在处理的字节数？

Answer 1

首先我建议阅读以下问题/答案:

FreeOSMemory() in production

Golang - Cannot free memory once occupied by bytes.Buffer

你可以通过 runtime.GC() 触发 gc 来释放未使用的对象你可能会敦促你的 Go 运行时使用 debug.FreeOSMemory() 将内存释放回操作系统，但这一切都只是救火。一个编写良好的 Go 应用程序永远不必调用这些。

您应该做的是防止运行时必须分配大量内存。

您如何实现这一目标？一些方法(您甚至可以组合这些解决方案):

• 限制为需要大内存的请求提供服务，更多相关信息:Process Management for the Go Webserver ;还有Is this an idiomatic worker thread pool in Go?

• 使用内存/缓冲池，不要一直分配大数组/slice ，更多信息:How to implement Memory Pooling in Golang

• 创建/更改您的处理单元，使其不对 byte slice 进行操作，而是对 io.Reader 进行操作s，所以不需要将所有内容读入内存，直接将resp.Body传上即可。请注意，即使多个单元必须读取/检查主体，仍然可以只读取和处理一次，而不将其保存在内存中。手段可能是io.Pipe() , io.TeeReader()或自定义解决方案。