- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章mysql Sort aborted: Out of sort memory, consider increasing server sort buffer size的解决方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
今天在检查mysql服务器的时候提示Sort aborted: Out of sort memory, consider increasing server sort buffer size,安装字面意思就是 sort内存溢出,考虑增加服务器的排序缓冲区(sort_buffer_size)大小 。
sort_buffer_size=3M join_buffer_size = 3M 。
下面是针对16G 内存设置的参数:
sort_buffer_size = 2M # Sort_Buffer_Size 是一个connection级参数,在每个connection(session)第一次需要使用这个buffer的时候,一次性分配设置的内存。 #Sort_Buffer_Size 并不是越大越好,由于是connection级的参数,过大的设置+高并发可能会耗尽系统内存资源。例如:500个连接将会消耗 500*sort_buffer_size(8M)=4G内存 #Sort_Buffer_Size 超过2KB的时候,就会使用mmap() 而不是 malloc() 来进行内存分配,导致效率降低。 #技术导读 http://blog.webshuo.com/2011/02/16/mysql-sort_buffer_size/ #dev-doc: http://dev.mysql.com/doc/refman/5.5/en/server-parameters.html #explain select*from table where order limit;出现filesort #属重点优化参数 。
不过我看到有人将sort_buffer_size设置为10M,我就是因为设置了10M,后来我设置为2-3M,就没有问题了 。
Written by cenalulu @ 2010-10-26 。
基础知识:
1、 Sort_Buffer_Size 是一个connection级参数,在每个connection第一次需要使用这个buffer的时候,一次性分配设置的内存。 2、 Sort_Buffer_Size 并不是越大越好,由于是connection级的参数,过大的设置+高并发可能会耗尽系统内存资源。 3、 文档说“On Linux, there are thresholds of 256KB and 2MB where larger values may significantly slow down memory allocation” 。
本文主要针对第三点做测试: 据说Sort_Buffer_Size 超过2KB的时候,就会使用mmap() 而不是 malloc() 来进行内存分配,导致效率降低.
环境:
为了更大的体现性能差距,使用 1GB内存的Fedora 虚拟机进行测试 。
测试表结构:
1w 行的表, 表结构 。
+-------+------------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+------------------+------+-----+---------+----------------+ | id | int(10) unsigned | NO | PRI | NULL | auto_increment | | k | int(10) unsigned | NO | MUL | 0 | | | c | char(120) | NO | | | | | pad | char(60) | NO | | | | +-------+------------------+------+-----+---------+----------------+ 。
测试语句:
分别设置Sort_Buffer_Size 为 250K ,512K, 3M ,然后运行以下语句,查看运行时间。 1. sql_no_cache 防止query cache起效。 2. limit 1 为了减少排序占执行时间的比重,更多的体现内存分配带来的影响 3. 语句explain的结果是 filesort , 以确保使用sort_buffer 。
。
。
测试结果:
执行时间 。
250K : 1.318s 512K : 1.944s 3M : 2.412s 。
250 K [root@localhost tmp]# mysqlslap -uroot -h127.0.0.1 -q ' select sql_no_cache * from sbtest order by pad limit 1' -c 100 --create-schema=test -i 10 Benchmark Average number of seconds to run all queries: 1.318 seconds Minimum number of seconds to run all queries: 1.285 seconds Maximum number of seconds to run all queries: 1.378 seconds Number of clients running queries: 100 Average number of queries per client: 1 。
512 K 。
[root@localhost tmp]# mysqlslap -uroot -h127.0.0.1 -q ' select sql_no_cache * from sbtest order by pad limit 1' -c 100 --create-schema=test -i 10 Benchmark Average number of seconds to run all queries: 1.944 seconds Minimum number of seconds to run all queries: 1.362 seconds Maximum number of seconds to run all queries: 4.406 seconds Number of clients running queries: 100 Average number of queries per client: 1 。
3M [root@localhost tmp]# mysqlslap -uroot -h127.0.0.1 -q ' select sql_no_cache * from sbtest order by pad limit 1' -c 100 --create-schema=test -i 10 Benchmark Average number of seconds to run all queries: 2.412 seconds Minimum number of seconds to run all queries: 2.376 seconds Maximum number of seconds to run all queries: 2.527 seconds Number of clients running queries: 100 Average number of queries per client: 1 。
结论: 确实如文档所说, 使用mmap 分配内存时,会带来性能上的损耗,影响大约在 30% 左右。 由于是limit 1,因此减弱了buffer size对排序速度的影响。 其实buffer size 越大,所需要进行的sort-merge的次数越少,执行时间越短。视具体的语句而定。 我只是想说明下,并不是越大越好。 也并不存在一个绝对的最佳值。 还是要看具体的业务环境决定值的大小。 对于高并发的应用,还是别设置太大的比较好.
最后此篇关于mysql Sort aborted: Out of sort memory, consider increasing server sort buffer size的解决方法的文章就讲到这里了,如果你想了解更多关于mysql Sort aborted: Out of sort memory, consider increasing server sort buffer size的解决方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
情况 我正在尝试熟悉 Java 中的线程。出于这个原因,我修改了我在一本书中找到的程序列表。所做的事情非常简单: 它创建一个包含 100.000.000 个元素的 boolean[] 数组。 它使用
我正在使用 Zurb Foundation 使用以下代码制作导航栏:
Write a program that reads a sequence of integers and print 'increasing' if each subsequent number i
我有比特币源代码(多线程),我打算添加一些新行。在比特币网络上,数据消息在数据存储在 vector 中的地方交换。我想在 vector 大小增加时执行一些指令: 如何在 C++ 中编写以下模式以便在
We are given a network flow, as well as a max flow in the network. An edge would be called increasin
我想增加 Line2D 的宽度。我找不到任何方法来做到这一点。我是否需要为此实际制作一个小矩形? 最佳答案 您应该使用 setStroke 来设置 Graphics2D 对象的笔画。 http://w
题目地址:https://leetcode.com/problems/increasing-triplet-subsequence/description/ 题目描述: Given an unso
题目地址:https://leetcode.com/problems/longest-increasing-subsequence/description/ 题目描述 Given an unsor
题目地址:https://leetcode.com/problems/monotone-increasing-digits/description/ 题目描述: Given a non-negat
我已经从头开始实现逻辑回归,但是当我运行脚本时,算法总是预测错误的标签。我尝试通过将所有 1 切换为 0 来更改训练输出和 test_output,反之亦然,但它总是预测错误的标签。 我还注意到,将“
我正在尝试增加kivyMD 按钮 的宽度 和高度,但它不受支持(size_hint)。 •我应该创建自己的继承自 Button 类的按钮类吗? •考虑到我希望我的应用程序在 Android 上运行,这
ArrayList tempArray = new ArrayList<>(size); 我正在为我的合并排序构建一个 tempArray,它将根据上下文对整数或字符串进行排序。因此类型为 T Arr
我正在尝试创建大约200万条记录的Lucene。索引时间约为9小时。 您能否建议如何提高性能? 最佳答案 我写了一篇关于如何并行化Lucene索引的可怕文章。它确实写得很糟糕,但是您会发现它是here
我需要你的帮助来解决这个问题 这是我的 ulimit -a 的结果在我的 linux 服务器上 core file size (blocks, -c) 0 scheduling
我想了解: 与完全虚拟化或硬件辅助虚拟化(如 virtio_net 或 virtio_blk)相比,virtio 驱动程序如何提高性能? 这些 virtio 驱动程序如何影响 VMEXIT/VMENT
我正在使用 rose2.m 生成许多角度直方图。我希望显示每个箱子中元素数量的比例范围在 0-50 之间,对于所有地 block 以 10 为增量增加,即使特定地 block 上的最大元素数量小于 5
我正在为我使用远程音频单元的 iPhone 构建一个录音应用程序。在对传入缓冲区执行一些音频分析后,我使用以下方法将缓冲区写入磁盘: ExtAudioFileWriteAsync 但是,我遇到的问题是
您好,我正在解析 xml 文件,我正在返回 Objects 类的 ArrayList,但是对于此方法的每次调用,ArrayList 的大小为从 0-8 和 8 增加到 16 和 24...而不是创建一
在一些 Django 测试中,我有循环来测试很多东西。 在最终结果中它显示为: Ran 1 test in 3.456s 我想为每个循环增加该计数器,我该怎么做? 它正在使用 subTest() ,但
我正在努力解决这个指针算术: int x; int *y = &x; ++y; y 增加了多少? 我知道:“&”是引用运算符,可以读作“address of”。“*”是解引用运算符,可以读作“指向的值
我是一名优秀的程序员,十分优秀!