- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章详解MySQL数据库千万级数据查询和存储由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
。
数据存储结构设计 。
表字段设计 。
索引设计 。
查询语句优化 。
。
数据存储结构设计 。
到了这个阶段的数据量,数据本身已经有很大的价值了,数据除了满足常规业务需求外,还会有一些数据分析的需求。而这个时候数据可变动性不高,基本上不会考虑修改原有结构,一般会考虑从分区,分表,分库三方面做优化:
分区:
分表:
分表分水平分表和垂直分表.
水平分表即拆分成数据结构相同的各个小表,如拆分成 table1, table2...,从而缓解数据库读写压力.
垂直分表即将一些字段分出去形成一个新表,各个表数据结构不相同,可以优化高并发下锁表的情况.
可想而知,分表的话,程序的逻辑是需要做修改的,所以,一般是在项目初期时,预见到大数据量的情况,才会考虑分表。后期阶段不建议分表,成本很大.
分库:
分库一般是主从模式,一个数据库服务器主节点复制到一个或多个从节点多个数据库,主库负责写操作,从库负责读操作,从而达到主从分离,高可用,数据备份等优化目的.
当然,主从模式也会有一些缺陷,主从同步延迟,binlog 文件太大导致的问题等等,这里不细讲(笔者也学不动了).
其他:
冷热表隔离。对于历史的数据,查询和使用的人数少的情况,可以移入另一个冷数据库里,只提供查询用,来缓解热表数据量大的情况.
数据库表主键设计 。
数据库主键设计,个人推荐带有时间属性的自增长数字id。(分布式自增长id生成算法) 。
为什么要使用这些算法呢,这个与mysql数据存储结构有关 。
从业务上来说:
在设计数据库时不需要费尽心思去考虑设置哪个字段为主键。然后是这些字段只是理论上是唯一的,例如使用图书编号为主键,这个图书编号只是理论上来说是唯一的,但实践中可能会出现重复的情况。所以还是设置一个与业务无关的自增id作为主键,然后增加一个图书编号的唯一性约束.
从技术上来说:
1.如果表使用自增主键,那么每次插入新的记录,记录就会顺序添加到当前索引节点的后续位置,当一页写满,就会自动开辟一个新的页。 总的来说就是可以提高查询和插入的性能.
2.对innodb来说主键索引既存储索引值,又在叶子节点中存储行的数据,也就是说数据文件本身就是按照b+树方式存放数据的.
3.如果没有定义主键,则会使用非空的unique键做主键 ; 如果没有非空的unique键,则系统生成一个6字节的rowid做主键;聚簇索引中,n行形成一个页(一页通常大小为16k)。如果碰到不规则数据插入时,为了保持b+树的平衡,会造成频繁的页分裂和页旋转,插入速度比较慢。所以聚簇索引的主键值应尽量是连续增长的值,而不是随机值(不要用随机字符串或uuid).
4.故对于innodb的主键,尽量用整型,而且是递增的整型。这样在存储/查询上都是非常高效的.
。
mysql数据库千万级数据查询优化方案 。
limit分页查询越靠后查询越慢。这也让我们得出一个结论:
1、limit语句的查询时间与起始记录的位置成正比.
2、mysql的limit语句是很方便,但是对记录很多的表并不适合直接使用 。
表使用innodb作为存储引擎,id作为自增主键,默认为主键索引 。
1
|
select
id
from
test limit 9000000,100;
|
现在优化的方案有两种,即通过id作为查询条件使用子查询实现和使用join实现; 。
1、id>=的(子查询)形式实现 。
1
|
select
*
from
test
where
id >= (
select
id
from
test limit 9000000,1)limit 0,100
|
使用join的形式; 。
1
|
select
*
from
test a
join
(
select
id
from
test limit 9000000,100) b
on
a.id = b.id
|
这两种优化查询使用时间比较接近,其实两者用的都是一个原理,所以效果也差不多。但个人建议最好使用join,尽量减少子查询的使用。注:目前是千万级别查询,如果将至百万级别,速度会更快.
1
|
select
*
from
test a
join
(
select
id
from
test limit 1000000,100) b
on
a.id = b.id
|
。
他们都有什么特点和区别?
这是高级开发者面试时经常被问的问题。实际我们在平时的开发中,经常会遇到的。mysql的存储引擎有这么多种,实际我们在平时用的最多的莫过于innodb和myisam了。所有如果面试官问道mysql有哪些存储引擎,你只需要告诉这两个常用的就行.
那他们都有什么特点和区别呢?
myisam:默认表类型,它是基于传统的isam类型,isam是indexed sequential access method (有索引的顺序访问方法) 的缩写,它是存储记录和文件的标准方法。不是事务安全的,而且不支持外键,如果执行大量的select,insert myisam比较适合.
innodb:支持事务安全的引擎,支持外键、行锁、事务是他的最大特点。如果有大量的update和insert,建议使用innodb,特别是针对多个并发和qps较高的情况。注:在mysql 5.5之前的版本中,默认的搜索引擎是myisam,从mysql 5.5之后的版本中,默认的搜索引擎变更为innodb 。
myisam和innodb的区别 。
1.innodb支持事务,myisam不支持。对于innodb每一条sql语言都默认封装成事务,自动提交,这样会影响速度,所以最好把多条sql语言放在begin和commit之间,组成一个事务; 。
2.innodb支持外键,而myisam不支持.
3.innodb是聚集索引,使用b+tree作为索引结构,数据文件是和(主键)索引绑在一起的(表数据文件本身就是按b+tree组织的一个索引结构),必须要有主键,通过主键索引效率很高。myisam是非聚集索引,也是使用b+tree作为索引结构,索引和数据文件是分离的,索引保存的是数据文件的指针。主键索引和辅助索引是独立的.
4.innodb不保存表的具体行数,执行select count(*) from table时需要全表扫描。而myisam用一个变量保存了整个表的行数,执行上述语句时只需要读出该变量即可,速度很快.
5.innodb不支持全文索引,而myisam支持全文索引,查询效率上myisam要高;5.7以后的innodb支持全文索引了.
6.innodb支持表、行级锁(默认),而myisam支持表级锁。; 。
7.innodb表必须有主键(用户没有指定的话会自己找或生产一个主键),而myisam可以没有.
8.innodb存储文件有frm、ibd,而myisam是frm、myd、myi.
9.innodb:frm是表定义文件,ibd是数据文件.
10.myisam:frm是表定义文件,myd是数据文件,myi是索引文件.
。
说到复杂sql优化,最多的是由于多表关联造成了大量的复杂的sql语句,那我们拿到这种sql到底该怎么优化呢,实际优化也是有套路的,只要按照套路执行就行。复杂sql优化方案:
1.使用explain关键词检查sql。explain可以帮你分析你的查询语句或是表结构的性能瓶颈,就得explain 的查询结果还会告诉你你的索引主键被如何利用的,你的数据表是如何被搜索和排序的,是否有全表扫描等; 。
2.查询的条件尽量使用索引字段,如某一个表有多个条件,就尽量使用复合索引查询,复合索引使用要注意字段的先后顺序.
3.多表关联尽量用join,减少子查询的使用。表的关联字段如果能用主键就用主键,也就是尽可能的使用索引字段。如果关联字段不是索引字段可以根据情况考虑添加索引.
4.尽量使用limit进行分页批量查询,不要一次全部获取.
5.绝对避免select *的使用,尽量select具体需要的字段,减少不必要字段的查询; 。
6.尽量将or 转换为 union all.
7.尽量避免使用is null或is not null.
8.要注意like的使用,前模糊和全模糊不会走索引.
9.where后的查询字段尽量减少使用函数,因为函数会造成索引失效.
10.避免使用不等于(!=),因为它不会使用索引.
11.用exists代替in,not exists代替not in,效率会更好; 。
12.避免使用having子句, having 只会在检索出所有记录之后才对结果集进行过滤,这个处理需要排序,总计等操作。如果能通过where子句限制记录的数目,那就能减少这方面的开销.
13.千万不要 order by rand() 。
以上就是详解mysql数据库千万级数据查询和存储的详细内容,更多关于mysql数据库千万级数据查询和存储的资料请关注我其它相关文章! 。
最后此篇关于详解MySQL数据库千万级数据查询和存储的文章就讲到这里了,如果你想了解更多关于详解MySQL数据库千万级数据查询和存储的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
初学者 android 问题。好的,我已经成功写入文件。例如。 //获取文件名 String filename = getResources().getString(R.string.filename
我已经将相同的图像保存到/data/data/mypackage/img/中,现在我想显示这个全屏,我曾尝试使用 ACTION_VIEW 来显示 android 标准程序,但它不是从/data/dat
我正在使用Xcode 9,Swift 4。 我正在尝试使用以下代码从URL在ImageView中显示图像: func getImageFromUrl(sourceUrl: String) -> UII
我的 Ubuntu 安装 genymotion 有问题。主要是我无法调试我的数据库,因为通过 eclipse 中的 DBMS 和 shell 中的 adb 我无法查看/data/文件夹的内容。没有显示
我正在尝试用 PHP 发布一些 JSON 数据。但是出了点问题。 这是我的 html -- {% for x in sets %}
我观察到两种方法的结果不同。为什么是这样?我知道 lm 上发生了什么,但无法弄清楚 tslm 上发生了什么。 > library(forecast) > set.seed(2) > tts lm(t
我不确定为什么会这样!我有一个由 spring data elasticsearch 和 spring data jpa 使用的类,但是当我尝试运行我的应用程序时出现错误。 Error creatin
在 this vega 图表,如果我下载并转换 flare-dependencies.json使用以下 jq 到 csv命令, jq -r '(map(keys) | add | unique) as
我正在提交一个项目,我必须在其中创建一个带有表的 mysql 数据库。一切都在我这边进行,所以我只想检查如何将我所有的压缩文件发送给使用不同计算机的人。基本上,我如何为另一台计算机创建我的数据库文件,
我有一个应用程序可以将文本文件写入内部存储。我想仔细看看我的电脑。 我运行了 Toast.makeText 来显示路径,它说:/数据/数据/我的包 但是当我转到 Android Studio 的 An
我喜欢使用 Genymotion 模拟器以如此出色的速度加载 Android。它有非常好的速度,但仍然有一些不稳定的性能。 如何从 Eclipse 中的文件资源管理器访问 Genymotion 模拟器
我需要更改 Silverlight 中文本框的格式。数据通过 MVVM 绑定(bind)。 例如,有一个 int 属性,我将 1 添加到 setter 中的值并调用 OnPropertyChanged
我想向 Youtube Data API 提出请求,但我不需要访问任何用户信息。我只想浏览公共(public)视频并根据搜索词显示视频。 我可以在未经授权的情况下这样做吗? 最佳答案 YouTube
我已经设置了一个 Twilio 应用程序,我想向人们发送更新,但我不想回复单个文本。我只是想让他们在有问题时打电话。我一切正常,但我想在发送文本时显示传入文本,以确保我不会错过任何问题。我正在使用 p
我有一个带有表单的网站(目前它是纯 HTML,但我们正在切换到 JQuery)。流程是这样的: 接受用户的输入 --- 5 个整数 通过 REST 调用网络服务 在服务器端运行一些计算...并生成一个
假设我们有一个名为 configuration.js 的文件,当我们查看内部时,我们会看到: 'use strict'; var profile = { "project": "%Projec
这部分是对 Previous Question 的扩展我的: 我现在可以从我的 CI Controller 成功返回 JSON 数据,它返回: {"results":[{"id":"1","Sourc
有什么有效的方法可以删除 ios 中 CBL 的所有文档存储?我对此有疑问,或者,如果有人知道如何从本质上使该应用程序像刚刚安装一样,那也会非常有帮助。我们正在努力确保我们的注销实际上将应用程序设置为
我有一个 Rails 应用程序,它与其他 Rails 应用程序通信以进行数据插入。我使用 jQuery $.post 方法进行数据插入。对于插入,我的其他 Rails 应用程序显示 200 OK。但在
我正在为服务于发布请求的 API 调用运行单元测试。我正在传递请求正文,并且必须将响应作为帐户数据返回。但我只收到断言错误 注意:数据是从 Azure 中获取的 spec.js const accou
我是一名优秀的程序员,十分优秀!