个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章mysql大数据查询优化经验分享(推荐)由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
正儿八经mysql优化！ 。
mysql数据量少，优化没必要，数据量大，优化少不了，不优化一个查询10秒，优化得当，同样查询10毫秒.
这是多么痛的领悟！ 。
mysql优化，说程序员的话就是：索引优化和where条件优化.
实验环境：MacBook Pro MJLQ2CH/A，mysql5.7，数据量：212万+ 。
ONE:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
select
*
from
article
INNER
JOIN
(
SELECT
id
FROM
article
WHERE
length(content_url) > 0
and
(
select
status
from
source
where
id = article.source_id)=1
and
(
select
status
from
category
where
id = article.category_id)=1
and
status = 1
and
id < 2164931
order
by
stick
desc
,pub_time
desc
limit 240,15
)
AS
t
USING(id);
|
咋一看，大佬肯定会想杀了我，没事做啥自关联，还是inner join。XX楼的，把我的杀猪刀拿来，我要宰了博主！！！ 。
说实话，早上出门我的脑袋没被门挤，我也不想这样的.
1.数据量大了，你要做offset很大的分页查询，还真的这样提速，原因 ---> 用join子表中的id覆盖到全表，避免全表扫描.
看我的order by（细语：不就是个order by，TM谁不会写），你把这个order by换成你自己的表中的字段desc or explain看看。Extra ---> filesort ! shit .
2.针对这种多个条件的order by，通常我们会直接给两个字段分别加index，然而还是会Extra ---> filesort。另辟蹊径，给order by后面的所有条件加一个联合索引，注意顺序一定要和你的order by顺序一致。这样Extra就只剩下where了.
再看看where，(select status from source where id = article.source_id)=1 and ...又啥JB写法！ 。
3.想过用join+index的方式，最后测试出来，和这种方式几乎无差别。生产环境是这样写的，那就这样吧，还能少两个索引（source_id，category_id），懒病犯了谁都阻挡不了，以后吃亏了又回来继续优化呗.
4.这个点是我昨晚才get到的，where条件的满足顺序是优先满足最后一个条件，从右到左，经过删除index测试，确实有效果，能从6秒降到4秒，优化了index之后再次测试发现顺序对耗时影响几乎可以忽略不计，0.X毫秒.
TWO:
|
1
2
3
4
5
6
7
|
select
*
from
article
INNER
JOIN
(
SELECT
id
FROM
article
WHERE
INSTR(ifnull(title,
''
),
'战狼'
) > 0
and
status != 9
order
by
pub_time
desc
limit 100,10
)
AS
t USING(id);
|
嗯——又是inner join....... 。
|
1
|
INSTR(ifnull(title,
''
),
'战狼'
) > 0，为啥不用
like
......
|
1.考虑到这是管理平台的搜索，没有去搜索引擎上搜，搜索引擎是一个小时才同步一次数据，数据不全。管理人员搜索时只管他要的结果，like %XX%不能走索引，效率比instr低了5倍，又测试了regexp '.*XX*.'，还是比instr耗时多一点，索性..... 。
|
1
|
desc
or
explain看看，filesort.....给pub_time加个
index
看看，还是filesort.....
|
2.这种情况有另外一种方案，SELECT id FROM article force index(pub_time)，指定使用这个索引。但是这种写法太缺灵活性了，OUT！百度一下，有高人指点迷津：把status和pub_time建个联合索引（pub_time_status，order的条件在前），让where查询的时候，把这个index自动force上.
THREE:
|
1
2
|
select
*
from
article
where
status != 9
order
by
pub_time
desc
limit 100000,25;
desc
or
explain，还是filesort.....前面不是给status和pub_time建了联合索引了吗，tell me why......
|
好吧，我也不知道，把status和pub_time再建个联合索引status_pub_time，这次where条件在前，explain没filesort了，但是这个index却没有被使用，它勾搭出了pub_time_status。搞不懂啊 。
同时我又explain了TWO的SQL，都是如下图:
这二者中删除任何一个都不行，删除一个，就有sql会filesort！ 。
FOUR:
|
1
2
3
4
5
6
7
8
9
10
11
12
|
SELECT
*
from
follow
where
(((
SELECT
status
FROM
source
WHERE
id=follow.source_id)=1
and
follow.type=1)
or
((
select
status
from
topic
WHERE
id=follow.source_id)=1
and
follow.type=2))
AND
user_id=10054
ORDER
BY
sort limit 15,15;
SELECT
*
from
follow
inner
join
(
SELECT
id
from
follow
where
(((
SELECT
status
FROM
source
WHERE
id=follow.source_id)=1
and
follow.type=1)
or
((
select
status
from
topic
WHERE
id=follow.source_id)=1
and
follow.type=2))
AND
user_id=10054
ORDER
BY
sort limit 15,15
)
as
t using(id);
(
SELECT
id, source_id, user_id,
temporary
, sort, follow_time, read_time,type
from
follow
where
(
SELECT
status
FROM
source
WHERE
id=follow.source_id)=1
and
follow.type=1
and
user_id=10054)
union
all
(
SELECT
id, source_id, user_id,
temporary
, sort, follow_time, read_time,type
from
follow
where
(
select
status
from
topic
WHERE
id=follow.source_id)=1
and
follow.type=2
and
user_id=10054)
ORDER
BY
sort limit 15,15;
|
看看这三句sql，interesting，是不是！ 。
为了公平起见，我已经优化了索引，user_id_sort(user_id,sort)，让where在用user_id判断时force上这个索引.
第一句：0.48ms 。
第二句：0.42ms 。
第三句：6ms，导致时间长那么多的原因是union(查询两次表，合并成子表)后不能用index覆盖到order by的sort上 。
有的时候union不一定比or快.
总结 。
以上所述是小编给大家分享的mysql大数据查询优化经验，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！ 。
最后此篇关于mysql大数据查询优化经验分享(推荐)的文章就讲到这里了,如果你想了解更多关于mysql大数据查询优化经验分享(推荐)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
直接上代码，可以写在公共文件common和继承的基础类中，方便调用 ?
1、php服务端环境搭建 1.php 服务端环境 安装套件 xampp(apach+mysql+php解释器) f:\mydoc文件(重要)\dl_学习\download重要资源\apache
如下所示： Eclipse快捷键 Ctrl+1 快速修复 Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加) Ctrl+Alt+↑ 复制当前行到上一行(复制增加)
第一步：conn.PHP文件，用于连接数据库并定义接口格式，代码如下： php" id="highlighter_808731">
本篇文章整理了几道Linux下C语言的经典面试题，相信对大家更好的理解Linux下的C语言会有很大的帮助，欢迎大家探讨指正。 1、如果在Linux下使用GCC编译器执行下列程序，输出结果是什么？
安装完最新的Boost库 官方说明中有一句话： Finally, $ ./b2 install will leave Boost binaries in the lib/ subdirecto
为了梳理前面学习的《spring整合mybatis（maven+mysql）一》与《spring整合mybatis（maven+mysql）二》中的内容，准备做一个完整的示例完成一个简单的图书管理功
网站内容质量仅仅是页面综合得分里面的一项.不管算法如何改变调整,搜索引擎都不会丢弃网站页面的综合得分。 一般情况下我们把页面的综合得分为8个点： 1、标题的设置 (标题的设置要有独特性)
最近事情很忙，一个新项目赶着出来，但是很多功能都要重新做，一直在编写代码、debug。今天因为一个新程序要使用fragment来做，虽然以前也使用过fragment，不过没有仔细研究，今天顺道写篇文
Android资源命名规范 最近几个月，大量涉及android资源的相关工作。对于复杂的应用而言，资源命名的规范很有必要。除了开发人员之外，UI设计人员（或者切图相关人员）也需要对资源使用的位置非常
以前一直使用Hibernate，基本上没用过Mybatis，工作中需要做映射关系，简单的了解下Mybatis的映射。 两者相差不多都支持一对一，一对多，多对多，本章简单介绍一对一的使用以及注意点。
如下所示： ? 1
如果想在自定义的View上面显示Button 等View组件需要完成如下任务 1.在自定义View的类中覆盖父类的构造(注意是2个参数的) 复制代码 代码如下: publ
实现功能：实现表格tr拖动，并保存因为拖动改变的等级. jsp代码 ?
代码：测试类 java" id="highlighter_819000"> ?
红黑树是一种二叉平衡查找树，每个结点上有一个存储位来表示结点的颜色，可以是red或black。 红黑树具有以下性质： (1) 每个结点是红色或是黑色 (2) 根结点是黑色的 (3) 如果一个
废话不多说，直接上代码 ? 1
码代码时，有时候需要根据比较大小分别赋值： ? 1
实际项目开发中，我们经常会用一些版本控制器来托管自己的代码，今天就来总结下Git的相关用法，废话不多说，直接开写。 目的：通过Git管理github托管项目代码 1、下载安装Git 1、下载
直接上代码: 复制代码 代码如下: //验证码类 class ValidateCode { private $charset = 'abcdefghkmnprstuvwxyzABC
我是一名优秀的程序员,十分优秀！