go - 使用 channel 的 MapReduce 任务

Question

我的函数下载数据，解析它并返回一些结果。我想同时启动该函数的多个实例并总结它们的结果。这是我使用 Mutex 的解决方案:

var lock sync.Mutex
increment := func(data engine2.DownloadResult) {
    lock.Lock()
    defer lock.Unlock()
    albums += data.Album
    singles += data.Single
}

var wg sync.WaitGroup
foo := func(id uint) {
    defer wg.Done()
    result := engine.DownloadPlaylist(id)
    increment(*result)
}

for _, playlist := range repository.PlaylistRepository.Fetch() {
    wg.Add(1)
    go foo(playlist.Id)
}

wg.Wait()

据我所知， channel 是Go中推荐的同步机制。您能告诉我如何使用 channel 重写此任务吗？

Answer 1

有多种使用 channel 的解决方案。可能看起来像这样:

ch := make(chan *engine2.DownloadResult)
wg := sync.WaitGroup()
go func() {
   for result := range ch {
      increment_without_lock(result)
   }
}()
for _, playlist := range repository.PlaylistRepository.Fetch() {
    id := playlist.Id
    wg.Add(1)
    go func() {
       defer wg.Done()
       ch <- engine.DownloadPlaylist(id)
    }()
}
wg.Wait()
close(ch)