- 使用 Spring Initializr 创建 Spring Boot 应用程序
- 在Spring Boot中配置Cassandra
- 在 Spring Boot 上配置 Tomcat 连接池
- 将Camel消息路由到嵌入WildFly的Artemis上
平时执行的更新语句,都是从磁盘上加载数据页到DB内存的缓存页,接着就直接更新内存里的缓存页,同时还更新对应的redo log写入一个buffer中。
既然更新了BP里的缓存页,缓存页就会变成脏页,就得有时机把那脏页给刷到磁盘文件,脏页刷盘机制,是维护了一个LRU链表。
后续若要加载磁盘文件的数据页到BP,但此时并无空闲缓存页,就得将部分脏缓存页刷入到磁盘,此时就会根据LRU刷盘。
万一你执行查询,需查大量数据到缓存页,可能导致内存里大量脏页需淘汰刷盘,才能腾出足够内存执行这条查询SQL。这时可能发现突然莫名线上DB执行某查询SQL就突然性能出现抖动,平时只要几十ms查询,这次一下子要几s,毕竟你要等待大量脏页flush磁盘,然后语句才能执行。
还有一种脏页刷盘时机,redo log buffer里的redo log本身也会随各种条件刷入磁盘上的日志文件,比如:
都会强制buffer里的redo log刷入磁盘上的日志文件。磁盘上有多个日志文件,他会依次不停写,若写满所有日志文件,此时会重新回到第一个日志文件再次写入,这些日志文件是不停的循环写入的,所以其实在日志文件都被写满的情况下,也会触发一次脏页的刷新。因为假设你的第一个日志文件的一些redo log对应内存里的缓存页的数据都没被刷新到磁盘数据页,那一旦你把第一个日志文件里的这部分redo log覆盖写了别的日志,若此时DB崩溃, 有些你之前更新过的数据不就彻底丢了?所以一旦你将写满所有日志文件,此时重新从第一个日志文件开始写时,会判断,若要是你第一个日志文件里的一些redo log对应之前更新过的缓存页,至今都没刷盘,则此时得将那些马上要被覆盖的redo log更新的缓存页都刷盘。
在这种刷脏页情况下,因为redo log所有日志文件都写满,会导致DB 夯死,无法处理任何更新请求,因为执行任何一个更新请求都必须要写redo log!此时就得将一些脏页刷盘,才能继续执行更新语句,把更新语句的redo log从第一个日志文件开始覆盖写。
所以此时假设你在执行大量更新语句,可能突然发现线上DB莫名很多更新语句短时间内性能都抖动了,可能很多更新语句平时就几ms执行完,这次要等待1s才能执行完。
必须要等待第一个日志文件里部分redo log对应的脏页都刷盘,才能继续执行更新语句,这势必导致更新语句的性能很差。
综上,导致线上DB的查询和更新语句莫名出现性能抖动,很可能就是上述两种情况导致的执行语句时大量脏缓存页刷入磁盘,你要等待他们刷完磁盘才能继续执行。
在DB里执行查询或更新语句时,可能SQL语句性能会莫名抖动,根本原因:
因为你必须等大量缓存页都flush到磁盘,才能执行查询从磁盘将你所需数据页加载到BP缓存页
此时需要回到第一个redo log文件覆盖写,覆盖写时可能涉及到第一个redo log文件里有很多redo log日志对应的更新操作改动了缓存页,那些缓存页还没刷盘,就必须把它们刷盘了,才能执行更新语句,而你这一等待,必然会导致更新执行的很慢
所以上述两个场景导致的大量缓存页flush到磁盘,就会导致莫名SQL性能抖动。
要达此目的,关键如下:
很难!因为平时你的缓存页就是正常的在被使用,终究会被填满。
一旦填满,必然你执行下个SQL就会导致一批缓存页刷盘,这很难控制,除非你给你的数据库采用大内存机器,给BP分配的内存空间大些,则其缓存页填满的速率低些,刷盘频率也就较低。
所以关键就是如何尽量提升缓存页的刷盘速度。
假设现在要执行一个查询,需等待flush一批缓存页,接着才能加载查询出来的数据到缓存页。
那么若flush那批缓存页到磁盘需1s,然后查询SQL本身执行200ms,此时你这条SQL执行完毕总时间就得1.2s。
但若将那批缓存页刷盘的时间优化到100ms,该SQL总执行时间就只需300ms,性能提升很多。所以关键之一就是尽可能减少缓存页刷盘的时间开销到min。
为此:
假设你SSD能承载的随机I/O 600次/s,结果你把数据库的innodb_io_capacity就设为300,即刷盘时随机I/O最多执行300次/s,那你速度就还是很慢啊,根本没压榨完SSD随机I/O性能
所以推荐对DB部署机器的SSD能承载的最大随机I/O速率做个测试,fio工具常用来测试磁盘最大随机I/O速率。这样就知道他可执行多少次随机I/O / s,然后将该数值设置给DB的innodb_io_capacity。
但实际flush时,其实会按innodb_io_capacity乘以一个百分比来进行刷盘,就是脏页比
例,innodb_max_dirty_pages_pct参数控制,默认75%,一般不动它,另外该比例也可能会变化,该比例同时会参考你的redo log日志来计算的。关于这比例,这里的优化其实不用关注,核心就是把innodb_io_capacity设为SSD的IOPS,即随机I/O速率。
在缓存页刷盘时,可能会控制把缓存页临近的其他缓存页也刷盘。
但这有时会导致flush缓存页太多。实际上若你用SSD,并无必要让他同时刷邻近缓存页,可将innodb_flush_neighbors设为0,禁止刷临近缓存页,这样就把每次刷新的缓存页数量降低到min。
所以针对本文案例,即MySQL性能随机抖动问题,关键就是:
这样就可以把刷缓存页的性能提升到最高,也尽可能降低每次刷缓存页对执行SQL语句的影响。
我将 Bootstrap 与 css 和 java 脚本结合使用。在不影响前端代码的情况下,我真的很难在css中绘制这个背景。在许多问题中,人们将宽度和高度设置为 0%。但是由于我的导航栏,我不能使用
我正在用 c 编写一个程序来读取文件的内容。代码如下: #include void main() { char line[90]; while(scanf("%79[^\
我想使用 javascript 获取矩阵数组的所有对 Angular 线。假设输入输出如下: input = [ [1,2,3], [4,5,6], [7,8,9], ] output =
可以用pdfmake绘制lines,circles和other shapes吗?如果是,是否有documentation或样本?我想用jsPDF替换pdfmake。 最佳答案 是的,有可能。 pdfm
我有一个小svg小部件,其目的是显示角度列表(参见图片)。 现在,角度是线元素,仅具有笔触,没有填充。但是现在我想使用一种“内部填充”颜色和一种“笔触/边框”颜色。我猜想line元素不能解决这个问题,
我正在为带有三角对象的 3D 场景编写一个非常基本的光线转换器,一切都工作正常,直到我决定尝试从场景原点 (0/0/0) 以外的点转换光线。 但是,当我将光线原点更改为 (0/1/0) 时,相交测试突
这个问题已经有答案了: Why do people write "#!/usr/bin/env python" on the first line of a Python script? (22 个回
如何使用大约 50 个星号 * 并使用 for 循环绘制一条水平线?当我尝试这样做时,结果是垂直(而不是水平)列出 50 个星号。 public void drawAstline() { f
这是一个让球以对角线方式下降的 UI,但球保持静止;线程似乎无法正常工作。你能告诉我如何让球移动吗? 请下载一个球并更改目录,以便程序可以找到您的球的分配位置。没有必要下载足球场,但如果您愿意,也可以
我在我的一个项目中使用 Jmeter 和 Ant,当我们生成报告时,它会在报告中显示 URL、#Samples、失败、成功率、平均时间、最短时间、最长时间。 我也想在报告中包含 90% 的时间线。 现
我有一个不寻常的问题,希望有人能帮助我。我想用 Canvas (android) 画一条 Swing 或波浪线,但我不知道该怎么做。它将成为蝌蚪的尾部,所以理想情况下我希望它的形状更像三角形,一端更大
这个问题已经有答案了: Checking Collision of Shapes with JavaFX (1 个回答) 已关闭 8 年前。 我正在使用 JavaFx 8 库。 我的任务很简单:我想检
如何按编号的百分比拆分文件。行数? 假设我想将我的文件分成 3 个部分(60%/20%/20% 部分),我可以手动执行此操作,-_-: $ wc -l brown.txt 57339 brown.tx
我正在努力实现这样的目标: 但这就是我设法做到的。 你能帮我实现预期的结果吗? 更新: 如果我删除 bootstrap.css 依赖项,问题就会消失。我怎样才能让它与 Bootstrap 一起工作?
我目前正在构建一个网站,但遇到了 transform: scale 的问题。我有一个按钮,当用户将鼠标悬停在它上面时,会发生两件事: 背景以对 Angular 线“扫过” 按钮标签颜色改变 按钮稍微变
我需要使用直线和仿射变换绘制大量数据点的图形(缩放图形以适合 View )。 目前,我正在使用 NSBezierPath,但我认为它效率很低(因为点在绘制之前被复制到贝塞尔路径)。通过将我的数据切割成
我正在使用基于 SVM 分类的 HOG 特征检测器。我可以成功提取车牌,但提取的车牌除了车牌号外还有一些不必要的像素/线。我的图像处理流程如下: 在灰度图像上应用 HOG 检测器 裁剪检测到的区域 调
我有以下图片: 我想填充它的轮廓(即我想在这张图片中填充线条)。 我尝试了形态学闭合,但使用大小为 3x3 的矩形内核和 10 迭代并没有填满整个边界。我还尝试了一个 21x21 内核和 1 迭代,但
我必须找到一种算法,可以找到两组数组之间的交集总数,而其中一个数组已排序。 举个例子,我们有这两个数组,我们向相应的数字画直线。 这两个数组为我们提供了总共 7 个交集。 有什么样的算法可以帮助我解决
简单地说 - 我想使用透视投影从近裁剪平面绘制一条射线/线到远裁剪平面。我有我认为是使用各种 OpenGL/图形编程指南中描述的方法通过单击鼠标生成的正确标准化的世界坐标。 我遇到的问题是我的光线似乎
我是一名优秀的程序员,十分优秀!