memory-management - 使用 `make` 的并发内存分配？

Question

我要读取一个大的 csv 文件并返回一个结构数组。因此，我决定将大文件拆分为多个较小的文件，每个文件有 100 万行，并使用 go routines 并行处理它们。

在每个工作人员中，我创建了一个数组来插入文件行:

for i := 0; i < 10 ; i++ {
    go func(index int) {
        lines := make([]MyStruct, 1000000)
    }(i)
}

似乎 go 例程在这条线上互相等待。因此，如果为数组分配内存需要 1 秒，那么执行该操作的 10 个并发例程将需要 10 秒，而不是 1 秒!

你能帮我理解为什么吗？如果是这样，我想我会在启动 go 例程之前分配内存，并将数组的指针传递给它们中的每一个，加上它们在读取行和设置值时需要开始的元素的索引。

Answer 1

您需要设置 runtime.GOMAXPROCS(runtime.NumCPU()) 或 GOMAXPROCS 环境变量才能真正使用多核。

引用:http://golang.org/pkg/runtime/#GOMAXPROCS

引用@siritinga:

And of course, you need to do something with lines.

Right now, they are allocated and then lost for the garbage collector.

另一种方法是预分配 slice ，然后将其部分传递给 goroutine，例如:

N := 1000000
lines := make([]MyStruct, N * 10)
for i := 0; i < 10 ; i++ {
    idx := i * N
    go func(lines []MyStruct) {
        //do stuff with lines
    }(lines[idx:idx+N])
}