- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
翻译自官方wiki: https://github.com/facebook/rocksdb/wiki/Write-Stalls 转载请注明出处: https://www.cnblogs.com/morningli/p/16791706.html 。
当flush或compaction无法跟上写入的速率时,rocksdb有旁路系统来减慢写入速率。如果没有这样的系统,用户如果持续写入比硬件能处理的数据,数据库会发生下面的问题:
这个想法是将写入减慢到数据库可以处理的速度。然而,有时候数据库会对临时的突发写过于敏感,或者低估了硬件的处理能力,所以你可能会看到预料外的慢或者查询超时.
为了找出你的数据库是否有write stall的问题,你可以检查:
可能会因以下原因触发stall:
太多memtable 。当等待flush的memtable的数量大于或者等于max_write_buffer_number,写入会完全停止写来等待flush结束。另外如果max_write_buffer_number 大于3,等待flush的memtable大于或等于max_write_buffer_number-1,写入则会stall。在这些情况下,你将在 LOG 文件中获得类似于以下内容的info日志:
Stopping writes because we have 5 immutable memtables (waiting for flush), max_write_buffer_number is set to 5 。
Stalling writes because we have 4 immutable memtables (waiting for flush), max_write_buffer_number is set to 5 。
太多0层sst文件 。 当0层的sst文件数量达到level0_slowdown_writes_trigger, 写入则会stall。当0层的sst文件数量达到level0_stop_writes_trigger,写入会完全停止,等待0层到1层的compaction减少0层的文件数。在这些情况下,你将在 LOG 文件中获得类似于以下内容的info日志:
Stalling writes because we have 4 level-0 files 。
Stopping writes because we have 20 level-0 files 。
太多等待compaction的字节数 。 当估计等待compaction的字节数达到soft_pending_compaction_bytes,写入则会stall。当评估等待的字节数达到hard_pending_compaction_bytes,写入会完全停止等待compaction。在这些情况下,你将在 LOG 文件中获得类似于以下内容的info日志:
Stalling writes because of estimated pending compaction bytes 500000000 。
Stopping writes because of estimated pending compaction bytes 1000000000 。
每当stall条件被触发,rocksdb会减少写速度到delayed_write_rate,如果等待compaction的字节还在增加,也有可能会减少到比delayed_write_rate更低。值得注意的一键式是减慢/停止的触发和等待compaction的字节数限制是每个column family单独配置的,但是write stall 是应用到整个数据库的,这意味着如果一个column family触发write stall,整个数据库都会被stall.
如果触发了一个写减慢/停止,执行Put/Merge/Delete等的程序线程会被阻塞。如果一个减慢在生效中,每个写在处理之前会睡眠一段时间(一般是1ms)。如果写是stall的,线程可以无限制地阻塞。如果不希望线程被阻塞,应用可以通过在WriteOptions中设置no_slowdown = true来避免。在这个选项下,如果写请求因为减慢/stall导致没有完成,会立马返回Status::Incomplete().
在内部,为了增加性能,rocksdb在写到WAL之前会尝试将来自不同线程的写入请求批处理在一起。然而设置了no_slowdown 的写请求不会这样做,这可能会导致轻微的性能损失.
有很多选项你可以调整来减轻write stall。如果你有一些负载可以接受write stall,有些不能,你可以设置一些写请求为 Low Priority Write 来避免延迟敏感的写请求被stall.
如果write stall是由待处理的flush引起的,你可以尝试:
如果write stall是由太多0层文件或者太多等待compaction的字节数引起的,compaction跟不上写入的速度。请注意,任何减少写放大的操作都会减少compaction需要写入的字节数,从而加快压缩速度。尝试的选项:
你可以设置停止/减慢触发器和待compacrion字节数限制为一个很大的数字来避免发生write stall。如果你正在批量导入数据到rocksdb也可以看一下在 FAQ 中的“What's the fastest way to load data into RocksDB?”.
WriteBufferManager 提供一个了选项allow_stall可以传递给WriteBufferManager的构造函数。如果设置为true,当内存使用超过buffer_size (软限制)时会stall所有写入。它将等待刷新完成并且内存使用量下降。应用可以通过在设置WriteOptions中设置no_slowdown = true来避免.
最后此篇关于【翻译】rocksdbwritestall的文章就讲到这里了,如果你想了解更多关于【翻译】rocksdbwritestall的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
翻译自官方wiki: https://github.com/facebook/rocksdb/wiki/Write-Stalls 转载请注明出处: https://www.cnblogs.c
译者注:在微服务架构设计,构建API和服务间通信技术选型时,对 REST 和 gRPC 的理解和应用还存在知识盲区,近期看到国外的这篇文章: A detailed comparison of
rocksdb调试指引 翻译自官方wiki: https://github.com/facebook/rocksdb/wiki/RocksDB-Tuning-Guide 转载请注明出处: h
传统的ASP.NET Web Forms是一个非常好的主意,但现实需求非常复杂。随着时间的推移,现实世界的项目暴露出Web Forms的一些不足之处: “沉重的”视图状态:现实中在http请求之间
翻译自:Top 10 questions of Java Strings 简单地说,”==”测试两个字符串的引用是否相同,equals()测试两个字符串的值是否相同。除非你希望检
你好,今天我要和大家分享一些东西,举例来说这个在JavaScript中用的很多。我要讲讲回调(callbacks)。你知道什么时候用,怎么用这个吗?你真的理解了它在java环境中的用法了吗?当我也问
Java多线程面试问题 1. 进程和线程之间有什么不同? 一个进程是一个独立(self contained)的运行环境,它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个
原文: [A Dive into .Net 8 Native AOT and Efficient Web Development] 作者: [sharmila subbiah] 引言 随着 .NE
这是Fiddle 是否可以在 angular-translate 中检查其他语言的键值是否可用,然后它可以从其他语言中提取该键值? 就像在示例中,我有英语和西类牙语。并且一个键值(例如“CONFIRM
我希望能够使用 $this->__('String to translate')在外部脚本中。我该怎么做呢? Magento 版本 1.5.1.0 . 最佳答案 我认为设置语言环境的正确方法是: Ma
我有一个开关小部件,它使用自定义数据属性值来标记自己。 .switch.switch-text .switch-label::before { right: 1px; color: #c2cf
是否有人遇到过这样的情况:用 Java 编写并由(例如)法国程序员编写的现有代码库必须转换为英语程序员可以理解的代码?这里的问题是变量/方法/类名称、注释等都将采用该特定语言。 现在有可用的自动化解决
维基百科和其他一些网站将解释器描述为将代码从某种高级语言翻译成某种低级语言的翻译器。然而,有很多解释,包括在 stackoverflow 中,它说解释器直接执行作为输入的指令,而无需事先转换。那么解释
我想将基本动画应用于自定义单元格中的某些元素,例如标签、图像:特别是,我想让这些动画在我触摸单元格内部时也启动。我是初学者,我只学会了使用 animateWithDuration 和 transiti
这个问题在这里已经有了答案: NSDateFormatter and current language in iOS11 (5 个回答) 已关闭 3 年前。 当使用这样的 DateComponentF
我想在点击 var about 时移动 div.willshow。但我单击那个 btn,只有它获得类 active。然后我再次单击那个 btn 它失去了类。如果我再点击一次,每项任务都无法正常工作。
我想要一个按钮在悬停时向下移动几个像素,但它又回来了。当您还在上面徘徊时,它不应该留在原处吗? Email Me .btn {background: #2ecc71; padding: .5em 1e
在我的应用程序中,我想添加功能将页面翻译为用户在浏览器中设置的所有语言,如果没有可用的语言,则翻译为默认英语...问题是浏览器与语言支持不一致。我找到了一个解决方法,我对一些返回用户语言的 Web 服
我的应用程序有一个 Help.htm 文件,用谷歌翻译翻译得相当好。我想将菜单项标记为“请勿翻译”,但我发现并尝试过的 HTML 标签都不起作用。对于以下内容,我使用了谷歌翻译网站 - 它翻译了我没想
我有以下代码: span { width:200px; height:100px; background-color:red; border:1px solid black; } span.c2 {
我是一名优秀的程序员,十分优秀!