个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章分析MySQL中优化distinct的技巧由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
有这样的一个需求：select count(distinct nick) from user_access_xx_xx,
这条sql用于统计用户访问的uv，由于单表的数据量在10G以上，即使在user_access_xx_xx上加上nick的索引， 。
通过查看执行计划，也为全索引扫描，sql在执行的时候，会对整个服务器带来抖动； 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
root@db 09:00:12>
select
count(distinct nick) from user_access;
+———————-+
| count(distinct nick) |
+———————-+
| 806934 |
+———————-+
1 row
in
set
(52.78 sec)
|
执行一次sql需要花费52.78s，已经非常的慢了 。
现在需要换一种思路来解决该问题:
我们知道索引的值是按照索引字段升序的，比如我们对（nick，other_column）两个字段做了索引，那么在索引中的则是按照nick，other_column的升序排列:
我们现在的sql：select count(distinct nick) from user_access;则是直接从nick1开始一条条扫描下来，直到扫描到最后一个nick_n.
那么中间过程会扫描很多重复的nick，如果我们能够跳过中间重复的nick，则性能会优化非常多（在oracle中，这种扫描技术为loose index scan，但在5.1的版本中，mysql中还不能直接支持这种优化技术）:
所以需要通过改写sql来达到伪loose index scan:
|
1
2
3
4
5
6
7
8
9
|
root@db 09:41:30>
select
count
(*)
from
(
select
distinct
(nick)
from
user_access)t ;
|
count
(*) |
+———-+
| 806934 |
1 row
in
set
(5.81 sec)
|
Sql中先选出不同的nick，最后在外面套一层，就可以得到nick的distinct值总和； 。
最重要的是在子查询中：select distinct(nick) 实现了上图中的伪loose index scan，优化器在这个时候的执行计划为Using index for group-by ， 。
需要注意的是mysql把distinct优化为group by，它首先利用索引来分组，然后扫描索引，对需要的nick只扫描一次； 。
两个sql的执行计划分别为:
优化写法:
|
1
2
3
4
5
6
7
8
9
|
root@db 09:41:10>explain
select
distinct
(nick)
from
user_access-> ;
+—-+————-+——————————+——-+—————+————-| id | select_type |
table
| type | possible_keys |
key
| key_len | ref |
rows
| Extra |
+—-+————-+——————————+——-+—————+————-
| 1 | SIMPLE | user_access | range |
NULL
| ind_user_access_nick | 67 |
NULL
| 2124695 | Using
index
for
group
-
by
|
+—-+————-+——————————+——-+—————+————-
|
原始写法:
|
1
2
3
4
5
6
7
8
9
|
root@db 09:42:55>explain
select
count
(
distinct
nick)
from
user_access;
+—-+————-+——————————+——-+—————+————-
| id | select_type |
table
| type | possible_keys |
key
| key_len | ref |
rows
| Extra |
+—-+————-+——————————+——-+—————+————-
| 1 | SIMPLE | user_access |
index
|
NULL
| ind_user_access | 177 |
NULL
| 19546123 | Using
index
|
|
。
最后此篇关于分析MySQL中优化distinct的技巧的文章就讲到这里了,如果你想了解更多关于分析MySQL中优化distinct的技巧的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我刚刚继承了一个旧的 PostgreSQL 安装，需要进行一些诊断以找出该数据库运行缓慢的原因。在 MS SQL 上，您可以使用 Profiler 等工具来查看正在运行的查询，然后查看它们的执行计划。
将目标从Analytics（分析）导入到AdWords中，然后在Analytics（分析）中更改目标条件时，是否可以通过更改将目标“重新导入”到AdWords，还是可以自动选择？ 最佳答案 更改目标值
我正在使用google analytics api来获取数据。我正在获取数据，但我想验证两个参数，它们在特定日期范围内始终为0。我正在获取['ga:transactions']和['ga:goalCo
我使用Google API从Google Analytics（分析）获取数据，但指标与Google Analytics（分析）的网络界面不同。 即：我在2015年3月1日获得数据-它返回综合浏览量79
我在我的Web应用程序中使用sammy.js进行剔除。我正在尝试向其中添加Google Analytics（分析）。我很快找到了following plugin来实现页面跟踪。 我按照步骤操作，页面如
当使用 Xcode 分析 (product>analyze) 时，有没有办法忽略给定文件中的任何错误？ 例如编译指示之类的？ 我们只想忽略第三方代码的任何警告，这样当我们的代码出现问题时，它对我们
目录 EFK 1. 日志系统 2. 部署ElasticSearch 2.1 创建handless服务 2.2 创建s
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve thi
GCC/G++ 是否有可用于输出分析的选项？ 能够比较以前的代码与新代码之间的差异(大小、类/结构的大小)将很有用。然后可以将它们与之前的输出进行比较以进行比较，这对于许多目的都是有用的。 如果没有此
我正在浏览 LYAH，并一直在研究处理列表时列表理解与映射/过滤器的使用。我已经分析了以下两个函数，并包含了教授的输出。如果我正确地阅读了教授的内容，我会说 FiltB 的运行速度比 FiltA 慢很
在 MySQL 中可以使用 SET profiling = 1; 设置分析 查询 SHOW PROFILES; 显示每个查询所用的时间。我想知道这个时间是只包括服务器的执行时间还是还包括将结果发送到前
我用 Python 编写了几个用于生成阶乘的模块，我想测试运行时间。我找到了一个分析示例 here我使用该模板来分析我的模块: import profile #fact def main():
前几天读了下mysqld_safe脚本，个人感觉还是收获蛮大的，其中细致的交代了MySQL数据库的启动流程，包括查找MySQL相关目录，解析配置文件以及最后如何调用mysqld程序来启动实例等，有着
1 内网基础 内网/局域网（Local Area Network，LAN），是指在某一区域内有多台计算机互联而成的计算机组，组网范围通常在数千米以内。在局域网中，可以实现文件管理、应用软件共享、打印机
1 内网基础 内网/局域网（Local Area Network，LAN），是指在某一区域内有多台计算机互联而成的计算机组，组网范围通常在数千米以内。在局域网中，可以实现文件管理、应用软件共享、打印机
我有四列形式的数据。前三列代表时间，value1，value 2。第四列是二进制，全为 0 或 1。当第四列中对应的二进制值为0时，有没有办法告诉excel删除时间、值1和值2？我知道这在 C++ 或
我正在运行一个进行长时间计算的 Haskell 程序。经过一些分析和跟踪后，我注意到以下内容: $ /usr/bin/time -v ./hl test.hl 9000045000050000 Com
我有一个缓慢的 asp.net 程序正在运行。我想分析生产服务器以查看发生了什么，但我不想显着降低生产服务器的速度。 一般而言，配置生产盒或仅本地开发盒是标准做法吗？另外，您建议使用哪些程序来实现这一
我目前正在尝试分析 Haskell 服务器。服务器永远运行，所以我只想要一个固定时间的分析报告。我尝试只运行该程序 3 分钟，然后礼貌地要求它终止，但不知何故，haskell 分析器不遵守术语信号，并
是否有工具可以分析 Maven 构建过程本身，以便我可以看到构建花费最多时间的地方？ 我们在工作中遇到了关于 Maven 3.0.3 和 3.0b1 的问题。与 3.0.3 (9m00s) 相比，我们
我是一名优秀的程序员,十分优秀！