go - 如何改进实现的文件下载器

Question

我正在尝试提高我在 Go 中实现的下载器的性能。
我认为我的内存使用有问题，因为当我尝试时程序卡住了
下载一个大文件，比如 1gb 或更大。我用它来下载文件
100mgb 和 300mgb，一切正常。下载器用于显示 header 的服务器
接受范围。下面我将向您展示实现和主要部分，但首先让我解释一下。
接受范围:字节
在这个实现中，我创建了一个 http.Client 来使用文件的一部分设置标题范围
我要求，之后我提出了要求。为了存储我创建的这个请求的响应
一个临时文件，并将响应直接复制到该文件中。这样做的想法是避免复制
内存中的整个 react 。这是实现:

func DownloadPart(wg *sync.WaitGroup, tempName string, url string, part string) {
    //setting up the client to make the request
    client := http.Client{}
    request, err := http.NewRequest("GET", url, nil)

    //setting up the requests
    request.Header.Set("Range", part)
    response, err := client.Do(request)
    checkError(err, "fatal")
    defer response.Body.Close()

    //creating the temporary file and copying
    // the response to it
    file, err := os.Create(tempName)
    checkError(err, "panic")
    defer file.Close()
    
    _, err = io.Copy(file, response.Body)
    checkError(err, "fatal")

    defer wg.Done()
}

这个函数在各种 goroutines 中被调用，所以我使用 WaitGroup 来减少计数器
gorputine end 下载文件的一部分。在所有这些 goroutines 结束之后，我加入了不同的
单个文件中的临时文件。这是join函数的实现

func joinFiles(name string) {
    finalFile, err := os.OpenFile(name, os.O_CREATE|os.O_APPEND|os.O_WRONLY, 0644)
    if err != nil {
        log.Panicln(err.Error())
    }
    defer finalFile.Close()

    files, err := ioutil.ReadDir(".")

    for _, f := range files {
        tempData, err := ioutil.ReadFile(f.Name())
        if err != nil {
            log.Panicln(err.Error())
        }

        if f.Name() != finalFile.Name() {
            finalFile.Write(tempData)
            os.Remove(f.Name())
        }
    }
}

现在我将向您展示使用这些功能的主要功能部分

//start, end and rest are used to set the Range header in the requests 
//threads are the number of goroutines to used in the download
var wg sync.WaitGroup
wg.Add(threads)
//initializing the goroutines
for i := 0; i < threads; i++ {
    part := fmt.Sprintf("bytes=%d-%d", start, end)
    start = end + 1
    if i == threads-1 {
        end = end + step + rest
    } else {
        end = end + step
    }
    go tools.DownloadPart(&wg, fmt.Sprintf("%d.temp", i), url, part)
}
wg.Wait()
log.Println("Joining files...")
joinFiles(name) 

如果有办法改进这个实现？

Answer 1

我认为这里最大的问题是您如何将文件拼接在一起。调用ioutil.ReadAll将整个文件的内容读入内存，并且由于您对所有部分都执行此操作，因此您可能会在内存中结束整个文件的内容(GC 可能会在中间运行并释放其中的一些内容。)做得更好将使用 io.Copy在文件上(使用 os.Open 打开它之后)将其复制到最终文件中。这样您就不必将内容存储在内存中。