个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章分析MySQL中优化distinct的技巧由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
有这样的一个需求：select count(distinct nick) from user_access_xx_xx,
这条sql用于统计用户访问的uv，由于单表的数据量在10G以上，即使在user_access_xx_xx上加上nick的索引， 。
通过查看执行计划，也为全索引扫描，sql在执行的时候，会对整个服务器带来抖动； 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
root@db 09:00:12>
select
count(distinct nick) from user_access;
+———————-+
| count(distinct nick) |
+———————-+
| 806934 |
+———————-+
1 row
in
set
(52.78 sec)
|
执行一次sql需要花费52.78s，已经非常的慢了 。
现在需要换一种思路来解决该问题:
我们知道索引的值是按照索引字段升序的，比如我们对（nick，other_column）两个字段做了索引，那么在索引中的则是按照nick，other_column的升序排列:
我们现在的sql：select count(distinct nick) from user_access;则是直接从nick1开始一条条扫描下来，直到扫描到最后一个nick_n.
那么中间过程会扫描很多重复的nick，如果我们能够跳过中间重复的nick，则性能会优化非常多（在oracle中，这种扫描技术为loose index scan，但在5.1的版本中，mysql中还不能直接支持这种优化技术）:
所以需要通过改写sql来达到伪loose index scan:
|
1
2
3
4
5
6
7
8
9
|
root@db 09:41:30>
select
count
(*)
from
(
select
distinct
(nick)
from
user_access)t ;
|
count
(*) |
+———-+
| 806934 |
1 row
in
set
(5.81 sec)
|
Sql中先选出不同的nick，最后在外面套一层，就可以得到nick的distinct值总和； 。
最重要的是在子查询中：select distinct(nick) 实现了上图中的伪loose index scan，优化器在这个时候的执行计划为Using index for group-by ， 。
需要注意的是mysql把distinct优化为group by，它首先利用索引来分组，然后扫描索引，对需要的nick只扫描一次； 。
两个sql的执行计划分别为:
优化写法:
|
1
2
3
4
5
6
7
8
9
|
root@db 09:41:10>explain
select
distinct
(nick)
from
user_access-> ;
+—-+————-+——————————+——-+—————+————-| id | select_type |
table
| type | possible_keys |
key
| key_len | ref |
rows
| Extra |
+—-+————-+——————————+——-+—————+————-
| 1 | SIMPLE | user_access | range |
NULL
| ind_user_access_nick | 67 |
NULL
| 2124695 | Using
index
for
group
-
by
|
+—-+————-+——————————+——-+—————+————-
|
原始写法:
|
1
2
3
4
5
6
7
8
9
|
root@db 09:42:55>explain
select
count
(
distinct
nick)
from
user_access;
+—-+————-+——————————+——-+—————+————-
| id | select_type |
table
| type | possible_keys |
key
| key_len | ref |
rows
| Extra |
+—-+————-+——————————+——-+—————+————-
| 1 | SIMPLE | user_access |
index
|
NULL
| ind_user_access | 177 |
NULL
| 19546123 | Using
index
|
|
。
最后此篇关于分析MySQL中优化distinct的技巧的文章就讲到这里了,如果你想了解更多关于分析MySQL中优化distinct的技巧的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我是新手。查看 Google 新闻...上下滚动页面时请注意左侧导航栏。 看看它是如何滚动一点，然后在它消失之前粘在页面顶部的？ 关于如何做到这一点有什么想法吗？ jQuery 和 CSS 可以复制吗
技巧 1：在 Web 服务器上缓存常用数据 技巧 2：在 Application 或 Session 对象中缓存常用数据 技巧 3：在 Web 服务器磁盘上缓存数据和 HTML 技巧 4：避免
我在 excel 中有一个电子表格，其中包含以下行: COLUMN Value1.Value2.Value3 Value4.Value5.Value6 Value7.Value8.Val
GNU Makefile 中是否有任何技巧来获取规则的所有依赖项？ 例子: rule1: dep1_1 dep1_2 dep1_3 rule2: dep2_1 dep2_2 rule1 dump_
人们使用什么来追踪内存泄漏？我已经通过代码检查设法解决了一些问题，但我不知道下一步该做什么/当我的程序变大时我将如何管理问题。我知道我在泄漏什么类型的对象，但我不知道是什么让它保持活力。 在 Wind
有什么好的方法可以将“xlSum”、“xlAverage”和“xlCount”等字符串转换为它们在 Microsoft.Office.Interop.Excel.XlConsolidationFunc
我们都见过这个: javascript:document.body.contentEditable='true'; document.designMode='on';无效 0 但我的问题是，这实际上是
我的应用程序将输出一个图形，其布局由用户定义。自定义布局类应该实现我定义的接口(interface)。我应该怎么做？有一个特殊的文件夹，我可以在其中查找布局类？用户是否将类名作为参数传递给应用？ 如有
我在弄清楚如何在 Javascript 中自引用表行时遇到了一些麻烦。 这是简化的代码: $( "#listitems tbody" ).append( "" + "" + id.va
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗？ 更新问题，使其只关注一个问题 editing this post . 关闭 6 年前。 Improve this q
我正在将代码库从一种编程风格转移到另一种编程风格。 我们有一个名为 Operand 的类型，定义如下: class Operand {...}; 然后我们有 class OperandFactory
我使用以下缩略图类在我的内容包装器中显示 4x3 缩略图: .thumbnail { float:left; width:300px; height:200px; ma
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
我认为这是不可能的，但我想在放弃之前问问你。 我想要类似 constexpr 增量的东西。 #include constexpr int inc() { static int inc = 0;
是否有任何适合 C++ 新手的技术和描述的好列表。我在想一个描述 RAII、RVO、左值的列表……这适用于目前不了解这些技术或来自不适用这些技术的其他语言的新手。 最好是短小精悍的:-) 最佳答案 是
我有一个二进制字符串 '01110000'，我想在不编写 forloop 的情况下返回前面的前导零数。有谁知道如何做到这一点？如果字符串立即以“1”开头，最好也返回 0 最佳答案 如果您真的确定它是一
我需要优化我的应用程序的 RAM 使用率。 请省去那些告诉我在编写 Python 代码时不应该关心内存的讲座。我有内存问题，因为我使用非常大的默认字典(是的，我也想快点)。我目前的内存消耗是 350M
有时，当我看到一个我喜欢的网站或来自受人尊敬的人的网站时，我会查看源代码并尝试理解它们(就像我们所有人一样)。 关于 Jeremy Keiths他使用以下代码的网站: [role="navigatio
这是我怎样设置 Git 来管理我的家目录的方法。 我有好几台电脑。一台笔记本电脑用于工作，一台工作站放在家里，一台树莓派（或四台），一台 Pocket CHIP，一台 运行
shell 技巧 表变量 HBase 0.95 版本增加了为表提供 jruby 风格的面向对象引用的 shell 命令。以前，作用于表的所有 shell 命令都具有程序风格，该风格始终将表的名称作
我是一名优秀的程序员,十分优秀！