go - 使用 goroutines 结合缓冲读取来优化读取大文件

Question

鉴于需要在典型的 ETL: Extract, Transform, Load 中处理大型 csv 文件(大约 300 字节长的以/n 结尾的行)的要求时尚(每行读取、拆分和组合插入数据库的 JSON)。生成一个(或多个)协同处理文件的 goroutine 是否有益？创建一个从文件的随机位置开始读取的 bufio.Scanner 需要做什么？

Answer 1

Would it be beneficial to spawn one (or more goroutines)?

是的，绝对是。通常，您可以在每个 E、T、L 上有 3 个并发 goroutine，并通过 channel 协调它们。

如需更多见解，请查看 Rob Pike 本人的精彩演讲:

并发不是并行:https://goo.gl/cp8xgF谈话幻灯片 http://talks.golang.org/2012/waza.slide#1