- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章从 bug 中学习:六大开源项目告诉你 go 并发编程的那些坑由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
并发编程中,go不仅仅支持传统的通过共享内存的方式来通信,更推崇通过channel来传递消息,这种新的并发编程模型会出现不同于以往的bug。从bug中学习,《Understanding Real-World Concurrency Bugs in Go》这篇paper在分析了六大开源项目并发相关的bug之后,为我们总结了go并发编程中常见的坑。别往坑里跳,编程更美妙.
在 go 中,创建 goroutine 非常简单,在函数调用前加 go 关键字,这个函数的调用就在一个单独的 goroutine 中执行了;go 支持匿名函数,让创建 goroutine 的操作更加简洁。另外,在并发编程模型上,go 不仅仅支持传统的通过共享内存的方式来通信,更推崇通过 channel 来传递消息:
Do not communicate by sharing memory; instead, share memory by communicating. 。
这种新的并发编程模型会带来新类型的 bug,从 bug 中学习,《Understanding Real-World Concurrency Bugs in Go》这篇 paper 在 Docker、Kubernetes、etcd、gRPC、CockroachDB、BoltDB 六大开源项目的 commit log 中搜索"race"、"deadlock"、"synchronization"、"concurrency"、"lock"、"mutex"、"atomic"、"compete"、"context"、"once"、"goroutine leak"等关键字,找出了这六大项目中并发相关的 bug,然后归类这些 bug,总结出了 go 并发编程中常见的一些坑。通过学习这些坑,可以让我们在以后的项目里防范类似的错误,或者遇到类似问题的时候可以帮助指导快速定位排查.
。
如下面一个 bug 的例子:
func finishReq(timeout time.Duration) ob { 。
ch := make(chan ob) 。
go func() { 。
result := fn() 。
ch <- result // block 。
}() 。
select { 。
case result = <-ch: 。
return result 。
case <-time.After(timeout): 。
return nil 。
} 。
} 。
本意是想调用 fn()时加上超时的功能,如果 fn()在超时时间没有返回,则返回 nil。但是当超时发生的时候,针对代码中第二行创建的 ch 来说,由于已经没有 receiver 了,第 5 行将会被 block 住,导致这个 goroutine 永远不会退出.
If the capacity is zero or absent, the channel is unbuffered and communication succeeds only when both a sender and receiver are ready. Otherwise, the channel is buffered and communication succeeds without blocking if the buffer is not full (sends) or not empty (receives). 。
这个 bug 的修复方式也是非常的简单,把 unbuffered channel 修改成 buffered channel.
func finishReq(timeout time.Duration) ob { 。
ch := make(chan ob, 1) 。
go func() { 。
result := fn() 。
ch <- result // block 。
}() 。
select { 。
case result = <-ch: 。
return result 。
case <-time.After(timeout): 。
return nil 。
} 。
} 。
思考:在上面的例子中,虽然这样不会 block 了,但是 channel 一直没有被关闭,channel 保持不关闭是否会导致资源的泄漏呢?
。
下面是一个 WaitGroup 误用导致阻塞的一个 bug 的例子: https:// github.com/moby/moby/pu ll/25384 。
var group sync.WaitGroup 。
group.Add(len(pm.plugins)) 。
for _, p := range pm.plugins { 。
go func(p *plugin) { 。
defer group.Done() 。
}(p) 。
group.Wait() 。
} 。
当 len(pm.plugins)大于等于 2 时,第 7 行将会被卡住,因为这个时候只启动了一个异步的 goroutine,group.Done()只会被调用一次,group.Wait()将会永久阻塞。修复如下:
var group sync.WaitGroup 。
group.Add(len(pm.plugins)) 。
for _, p := range pm.plugins { 。
go func(p *plugin) { 。
defer group.Done() 。
}(p) 。
} 。
group.Wait() 。
。
如下面的代码所示:
hctx, hcancel := context.WithCancel(ctx) 。
if timeout > 0 { 。
hctx, hcancel = context.WithTimeout(ctx, timeout) 。
} 。
第一行 context.WithCancel(ctx)有可能会创建一个 goroutine,来等待 ctx 是否 Done,如果 parent 的 ctx.Done()的话,cancel 掉 child 的 context。也就是说 hcancel 绑定了一定的资源,不能直接覆盖.
Canceling this context releases resources associated with it, so code should call cancel as soon as the operations running in this Context complete. 。
这个 bug 的修复方式是:
var hctx context.Context 。
var hcancel context.CancelFunc 。
if timeout > 0 { 。
hctx, hcancel = context.WithTimeout(ctx, timeout) 。
} else { 。
hctx, hcancel = context.WithCancel(ctx) 。
} 。
或者 。
hctx, hcancel := context.WithCancel(ctx) 。
if timeout > 0 { 。
hcancel.Cancel() 。
hctx, hcancel = context.WithTimeout(ctx, timeout) 。
} 。
。
如下面的例子:
for i := 17; i <= 21; i++ { // write 。
go func() { /* Create a new goroutine */ 。
apiVersion := fmt.Sprintf("v1.%d", i) // read 。
}() 。
} 。
第二行中的匿名函数形成了一个闭包(closures),在闭包内部可以访问定义在外面的变量,如上面的例子中,第 1 行在写 i 这个变量,在第 3 行在读 i 这个变量。这里的关键的问题是对同一个变量的读写是在两个 goroutine 里面同时进行的,因此是不安全的.
Function literals are closures: they may refer to variables defined in a surrounding function. Those variables are then shared between the surrounding function and the function literal, and they survive as long as they are accessible. 。
可以修改成:
for i := 17; i <= 21; i++ { // write 。
go func(i int) { /* Create a new goroutine */ 。
apiVersion := fmt.Sprintf("v1.%d", i) // read 。
}(i) 。
} 。
通过 passed by value 的方式规避了并发读写的问题.
。
https:// github.com/moby/moby/pu ll/24007/files 。
select { 。
case <-c.closed: 。
default: 。
close(c.closed) 。
} 。
上面这块代码可能会被多个 goroutine 同时执行,这段代码的逻辑是,case 这个分支判断 closed 这个 channel 是否被关闭了,如果被关闭的话,就什么都不做;如果 closed 没有被关闭的话,就执行 default 分支关闭这个 channel,多个 goroutine 并发执行的时候,有可能会导致 closed 这个 channel 被关闭多次.
For a channel c, the built-in function close(c) records that no more values will be sent on the channel. It is an error if c is a receive-only channel. Sending to or closing a closed channel causes a run-time panic. 。
这个 bug 的修复方式是:
Once.Do(func() { 。
close(c.closed) 。
}) 。
把整个 select 语句块换成 Once.Do,保证 channel 只关闭一次.
。
如下面的例子:
timer := time.NewTimer(0) 。
if dur > 0 { 。
timer = time.NewTimer(dur) 。
} 。
select { 。
case <-timer.C: 。
case <-ctx.Done(): 。
return nil 。
} 。
原意是想 dur 大于 0 的时候,设置 timer 超时时间,但是 timer := time.NewTimer(0)导致 timer.C 立即触发。修复后:
var timeout <-chan time.Time 。
if dur > 0 { 。
timeout = time.NewTimer(dur).C 。
} 。
select { 。
case <-timeout: 。
case <-ctx.Done(): 。
return nil 。
} 。
A nil channel is never ready for communication. 。
上面的代码中第一个 case 分支 timeout 有可能是个 nil 的 channel,select 在 nil 的 channel 上,这个分支不会被触发,因此不会有问题.
。
go 语言中的 RWMutex,write lock 有更高的优先级:
If a goroutine holds a RWMutex for reading and another goroutine might call Lock, no goroutine should expect to be able to acquire a read lock until the initial read lock is released. In particular, this prohibits recursive read locking. This is to ensure that the lock eventually becomes available; a blocked Lock call excludes new readers from acquiring the lock. 。
如果一个 goroutine 拿到了一个 read lock,然后另外一个 goroutine 调用了 Lock,第一个 goroutine 再调用 read lock 的时候会死锁,应予以避免.
原文地址:https://zhuanlan.zhihu.com/p/352589023?utm_source=tuicool&utm_medium=referral 。
最后此篇关于从 bug 中学习:六大开源项目告诉你 go 并发编程的那些坑的文章就讲到这里了,如果你想了解更多关于从 bug 中学习:六大开源项目告诉你 go 并发编程的那些坑的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我正在使用 NetBeans 开发 Java 中的 WebService,并使用 gradle 作为依赖管理。 我找到了this article关于使用 gradle 开发 Web 项目。它使用 Gr
我正在将旧项目从 ant 迁移到 gradle(以使用其依赖项管理和构建功能),并且在生成 时遇到问题>eclipse 项目。今天的大问题是因为该项目有一些子项目被拆分成 war 和 jar 包部署到
我已经为这个错误苦苦挣扎了很长时间。如果有帮助的话,我会提供一些问题的快照。请指导我该怎么办????在我看来,它看起来一团糟。 *** glibc detected *** /home/shivam/
我在 Ubuntu 12.10 上运行 NetBeans 7.3。我正在学习 Java Web 开发类(class),因此我有一个名为 jsage8 的项目,其中包含我为该类(class)所做的工作。
我想知道 Codeplex、GitHub 等中是否有任何突出的项目是 C# 和 ASP.NET,甚至只是 C# API 与功能测试 (NUnit) 和模拟(RhinoMocks、NMock 等)。 重
我创建了一个 Maven 项目,包装类型为“jar”,名为“Y”我已经完成了“Maven 安装”,并且可以在我的本地存储库中找到它.. 然后,我创建了另一个项目,包装类型为“war”,称为“X”。在这
我一直在关注the instructions用于将 facebook SDK 集成到我的应用程序中。除了“helloFacebookSample”之外,我已经成功地编译并运行了所有给定的示例应用程序。
我想知道,为什么我们(Java 社区)需要 Apache Harmony 项目,而已经有了 OpenJDK 项目。两者不是都是在开源许可下发布的吗? 最佳答案 事实恰恰相反。 Harmony 的成立是
我正在尝试使用 Jsoup HTML Parser 从网站获取缩略图 URL我需要提取所有以 60x60.jpg(或 png)结尾的 URL(所有缩略图 URL 都以此 URL 结尾) 问题是我让它在
我无法构建 gradle 项目,即使我编辑 gradle 属性,我也会收到以下错误: Error:(22, 1) A problem occurred evaluating root project
我有这个代码: var NToDel:NSArray = [] var addInNToDelArray = "Test1 \ Test2" 如何在 NToDel:NSArray 中添加 addInN
如何在单击显示更多(按钮)后将主题列表限制为 5 个(项目)。 还有 3(项目),依此类推到列表末尾,然后它会显示显示更少(按钮)。 例如:在 Udemy 过滤器选项中,当您点击查看更多按钮时,它仅显
如何将现有的 Flutter 项目导入为 gradle 项目? “导入项目”向导要求 Gradle 主路径。 我有 gradle,安装在我的系统中。但是这里需要设置什么(哪条路径)。 这是我正在尝试的
我有一个关于 Bitbucket 的项目。只有源被提交。为了将项目检索到新机器上,我在 IntelliJ 中使用了 Version Control > Checkout from Ve
所以,我想更改我公司的一个项目,以使用一些与 IDE 无关的设置。我在使用 Tomcat 设置 Java 应用程序方面有非常少的经验(我几乎不记得它是如何工作的)。 因此,为了帮助制作独立于 IDE
我有 2 个独立的项目,一个在 Cocos2dx v3.6 中,一个在 Swift 中。我想从 Swift 项目开始游戏。我该怎么做? 我已经将整个 cocos2dx 项目复制到我的 Swift 项目
Cordova 绝对是新手。这些是我完成的步骤: checkout 现有项目 运行cordova build ios 以上生成此构建错误: (node:10242) UnhandledPromiseR
我正在使用 JQuery 隐藏/显示 li。我的要求是,当我点击任何 li 时,它应该显示但隐藏所有其他 li 项目。当我将鼠标悬停在文本上时 'show all list item but don
我想将我所有的java 项目(223 个项目)迁移到gradle 项目。我正在使用由 SpringSource STS 团队开发的 Gradle Eclipse 插件。 目前,我所有的 java 项目
我下载this Eclipse Luna ,对于 Java EE 开发人员,如描述中所见,它支持 Web 应用程序。我找不到 file -> new -> other -> web projects
我是一名优秀的程序员,十分优秀!