戈朗 : how to handle blocking tasks optimally?

Question

众所周知，goroutine 是同步但非阻塞的处理单元。golang 调度程序处理非阻塞任务，例如来自字符设备的套接字、定时器、信号或其他事件非常好。

但是 block 设备 io 或 CPU 敏感任务怎么样？它们在完成之前不能被打断，也不能被多路复用。运行 goroutine 的 OS 线程将卡住，直到 goroutine 返回或让步。在这种情况下，调度粒度会变差。

当然，您可以在代码中将任务拆分为更小的子任务，例如，不要一次复制 1GB 的文件，而是先复制 10MB，让出，再复制另外 10MB 等，这样同一操作系统线程中的其他 goroutines 有机会运行。 CPU 密集型任务的另一个示例:逐个压缩文件并最终合并它们。

但这破坏了顺序编程的便利性，与操作系统线程上的操作系统调度相比，手动调度很难平均估计。

nginx 也有类似的问题，它是多进程程序，一个CPU 核心一个进程，类似于GOMAXPROCS 的最佳实践。它引入线程池来处理阻塞任务。也许这对 golang 也有好处。我很好奇为什么 golang 没有 OS 线程 API，这应该是 goroutine 在阻塞任务方面的一个很好的补充。

Answer 1

Go 特别选择了不直接向用户公开操作系统线程，而是选择了 M:N 线程模型。 Go 中的执行单元是 goroutine，它将在 N 个 OS 线程上复用。

在罕见的情况下，您有一个 CPU 密集型计算，其中不包含抢占点并且操作系统线程不足以继续运行其他 goroutine，您有 2 个选择；增加 GOMAXPROCS，或插入 runtime.Gosched() 调用以产生给其他 goroutines。

在阻塞系统调用的情况下，Go调度器会自动调度一个新的操作系统线程(考虑系统调用“阻塞”的时间限制已经是20us)，并且由于非网络IO是一系列阻塞系统调用，它几乎总是分配给专用的操作系统线程。由于 Go 已经使用了 M:N 线程模型，用户通常不知道底层调度程序的选择，并且可以像运行时使用异步 IO 一样编写程序。

有一个open issue考虑使用异步文件 IO，但有许多问题需要克服，例如 Linux aio api 的缺点、跨平台兼容性以及与可以执行 IO 的各种文件系统和设备的交互。