- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章如何有效控制 Go 线程数?由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
前阵子,在读者交流群中有人提到 Go 默认设置的最大线程数的问题:如果超过一万个 G (挂载于 M 上)阻塞于系统调用,那么程序就会被挂掉.
这是对的,因为 Go 对运行时创建的线程数量有一个限制,默认是 10000 个线程。今天我们就来探讨一下 Go 线程数相关的问题.
相信对 Go 有所了解的人,对下图所示的 GMP 模型不会陌生,每个 P 都会有一个操作系统线程 M 来执行其上的 G.
GMP 模型 。
我们可以通过设置 GOMAXPROCS 来设定 P 的最大值,这个值代表什么含义呢?
The GOMAXPROCS variable limits the number of operating system threads that 。
can execute user-level Go code simultaneously. There is no limit to the number of threads 。
that can be blocked in system calls on behalf of Go code; those do not count against 。
the GOMAXPROCS limit. This package's GOMAXPROCS function queries and changes 。
the limit. 。
通过 GOMAXPROCS 的定义文档,我们可以看到该变量只是限制了可以同时执行用户级 Go 代码的 OS 系统线程数量(通俗地讲:Go 程序最多只能有和 P 相等个数的系统线程同时运行)。但是,在系统调用中被阻塞的线程不在此限制之中.
对于系统调用,可分为同步和异步两种方式.
我们在《Go 网络编程和 TCP 抓包实操》一文中阐述的 Go 网络编程模型,就是一种异步系统调用。它使用网路轮询器进行系统调用,调度器可以防止 G 在进行这些系统调用时阻塞 M。这可以让 M 继续执行其他的 G,而不需要创建新的 M.
但是,如果 G 要进行的是无法异步完成的系统调用时怎么办?当网络轮询器无法使用时,进行系统调用的 G 将会阻塞 M。在 Linux 下基于普通文件(Linux 下的 epoll 只支持 socket,Windows 下的 iocp 可以支持 socket、file)的系统调用就是一个典型的例子.
同步系统调用 1 。
如上图所示,运行在 M1 上的 G1 想要请求一个同步系统调用.
同步系统调用 2 。
当发生同步系统调用并阻塞时,调度器将 M1 和仍然挂载在其之上的 G1 与 P 分离,并引入新的 M2 来运行 P 上的其他 G.
同步系统调用 3 。
当 G1 进行的阻塞式系统调用结束时,G1 重新回到 P 的 LRQ 中去,但 M1 变成了闲置线程,不会被回收,以留备后续复用.
问题来了,如果在某一短时段内,Go 程序存在大量无法短暂结束的同步系统调用,那线程数岂不是会一直涨下去?
线程数限制的问题,在官方 issues#4056: "runtime: limit number of operating system threads" 中,有过讨论,并最终将线程限制数值确定为 10000.
这个值存在的主要目的是限制可以创建无限数量线程的 Go 程序:在程序把操作系统干爆之前,干掉程序.
当然,Go 也暴露了 debug.SetMaxThreads() 方法可以让我们修改最大线程数值.
如程序所示,我们将最大线程数设置为 10,然后通过执行 shell 命令 sleep 3 来模拟同步系统调用过程。那么,执行 sleep 操作的 G 和 M 都会阻塞,当程序启动的线程 M 超过 10 个时,会得到以下报错.
闲置线程退出的问题,在官方 issues#14592: "runtime: let idle OS threads exit" 中有过讨论。目前,还没有一个完美的解决方案.
但是,在该 issue 里有人提出使用 runtime.LockOSThread() 方法来杀死线程.
简单了解下这个函数的特性:
那么,我们可以利用第三个特性,在启动 G 时,调用 LockOSThread 来独占一个 M。当 G 退出时,而不调用 UnlockOSThread,那这个 M 将不会被闲置,就被终止了.
下面,我们来看一个例子 。
通过 threadProfile.Count() 我们可以实时获取当前线程数目,那么在发生了阻塞式系统调用后,该程序的线程数目是多少呢?
根据结果可以看到,G 执行完毕后,闲置线程并没有被释放.
在程序中添加一行代码 runtime.LockOSThread() 代码 。
此时,程序的执行结果如下 。
可以看到,由于调用了 LockOSThread 函数的 G 没有执行 UnlockOSThread 函数,在 G 执行完毕后,M 也被终止了.
在 GMP 模型中,P 与 M 一对一的挂载形式,通过设定 GOMAXPROCS 变量就能控制并行线程数.
当 M 遇到同步系统调用时,G 和 M 会与 P 剥离,当系统调用完成,G 重新进入可运行状态,而 M 就会被闲置起来.
Go 目前并没有对闲置线程做清除处理,它们被当作复用的资源,以备后续需要。但是,如果在 Go 程序中积累大量空闲线程,这是对资源的一种浪费,同时对操作系统也产生了威胁。因此,Go 设定了 10000 的默认线程数限制.
我们发现了一种利用 LockOSThread 函数的 trik 做法,可以借此做一些限制线程数的方案:例如启动定期排查线程数的 goroutine,当发现程序的线程数超过某阈值后,就回收掉一部分闲置线程.
当然,这个方法也存在隐患。例如在 issues#14592 有人提到:当子进程由一个带有 PdeathSignal: SIGKILL 的 A 线程创建,A 变为空闲时,如果 A 退出,那么子进程将会收到 KILL 信号,从而引起其他问题.
当然,绝大多数情况下,我们的 Go 程序并不会遇到空闲线程数过多的问题。如果真的存在线程数暴涨的问题,那么你应该思考代码逻辑是否合理(为什么你能允许短时间内如此多的系统同步调用),是否可以做一些例如限流之类的处理。而不是想着通过 SetMaxThreads 方法来处理.
参考 。
Scheduling In Go:https://www.ardanlabs.com/blog/2018/08/scheduling-in-go-part2.html 。
issues#4056:https://github.com/golang/go/issues/4056 。
issues#14592:https://github.com/golang/go/issues/14592 。
原文链接:https://mp.weixin.qq.com/s/HYcHfKScBlYCD0IUd0t4jA 。
最后此篇关于如何有效控制 Go 线程数?的文章就讲到这里了,如果你想了解更多关于如何有效控制 Go 线程数?的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
大家好,我完成了这个基本的 C 程序,它向输入任何给定数字集的用户显示有序集、最小值、最大值、平均值和中值。我遇到的问题是,当我打印数字时,我必须使用诸如“3.2%f”之类的东西来设置标准的精度,我怎
我有这个基于 Python 的服务守护进程,它正在执行大量多路复用 IO(选择)。 从另一个脚本(也是 Python)我想查询这个服务守护进程的状态/信息和/或控制处理(例如暂停它、关闭它、更改一些参
我读到 Fortran 对表达式求值的顺序有严格的规则。对于某些数值算法来说,这一点非常重要。 数值 C 程序如何控制浮点运算的顺序并防止编译器“优化”到不需要的运算顺序,例如将 (a*b)*c 更改
上下文: 整个问题可以概括为我正在尝试复制调用system(或fork)的行为,但在 mpi 环境中。 (事实证明,你不能并行调用system。)这意味着我有一个程序在许多节点上运行,每个节点上有一个
我考虑过控制scanf来接受c中的任何输入。我的概念是等待10秒(或任何其他时间)来接受任何输入。10秒后它将退出并且不再接收任何输入。 int main(){ int a,b,c,d; sca
我正在尝试使用生成器停止 setTimeOut 上的执行流程。我究竟做错了什么?我无法让 console.log 每 1500 毫秒退出一次。我是 node 的新手,如果我在做一件非常愚蠢的事情,请不
我希望我的应用程序的 Activity 堆栈包含同一 Activity 的多个实例,每个实例处理不同的数据。因此,我将让 Activity A 在我的 Activity 堆栈中处理数据 a、b、c 和
我有这个 bash 文件,它向设备询问 OpenSSH 的 IP、密码等。 现在,如果我使用 ssh root@ip,我必须输入密码。这真的很烦人。第二;我不能让我的脚本向它发送命令。 这就是我想要的
我正在尝试测试我有权访问的机器的缓存属性。为此,我正在尝试读取内存并对其计时。我改变工作集大小和步幅访问模式以获得不同的测量值。 代码如下所示: clock1 = get_ticks() for (i
我正在尝试编写一个 makefile 来替换用于构建相当大的应用程序的脚本之一。 当前脚本一次编译一个文件,使用 make 的主要原因是并行化构建过程。使用 make -j 16 我目前在办公室服务器
我正在制作一个小的测试程序,它演示了一个粗糙的控制台界面。 该程序是一个低于标准的典型获取行、响应程序,它甚至不识别“退出”,并希望您通过按 control-c 强制退出。在 Mingw32 上完成。
好的,我有一个 VOIP 电话。我知道电话的 IP 地址和端口,并且可以完全访问电话,我正在使用它通过 SIP 中继调用 SIP 电话。 我基本上想随时查看手机上发生的事情,但我不知道从哪里开始。 如
是否可以指定 CWinApp::WriteProfileString() 使用的应用程序名称? 如果我使用 CWinApp::SetRegistryKey 将我的公司名称设置为“MyCompany”,
我正在尝试用 Python 控制 Tor。我在 stackoverflow 上阅读了其他几个关于这个主题的问题,但没有一个能回答这个问题。 我正在寻找一种方法,以便在命令运行时为您提供“新身份”、新
最近在做一个项目,涉及到iPhone设备和手表传输数据、控制彼此界面跳转,在网上找了很多资料,发现国内的网站这方面介绍的不多,而国外的网站写的也不是很全,所以在这写这篇文章,给大家参考一下,望大神指
我想增加图中值的范围。在示例中,值的范围从 50 到 200。但是,我需要按如下方式分配值:50 75 100 125 150 175 200 并且最好使用 scale_fill_gradientn
我有一个IconButton,当按下时波纹效果是圆形的并且比按钮的面积大,我怎样才能减少点击按钮时波纹效果的大小? IconButton( constraints
我正在使用代码契约(Contract)为我的项目生成附属程序集。基本上它为项目的 MyAssembly.dll 创建一个 MyAssembly.Contracts.dll。这应该放在你的程序集旁边,但
我想使用分面绘制图形,其中面板之间的边缘不同。面板按字母顺序自动排序(按照 ggplot 中的惯例)。一个简单的例子: library(igraph) library(ggraph) g <- mak
我想为我的 Android 应用程序创建一个小部件,以显示有关位置的一些实时详细信息,例如天气。但我想在任何时候允许最多 3 个小部件实例,每个实例都有不同的位置。我不确定该怎么做,也找不到任何信息。
我是一名优秀的程序员,十分优秀!