- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
在实际工作中,在关系数据库(MySQL、PostgreSQL)的单表数据量上亿后,往往会出现查询和分析变慢甚至无法执行统计分析的情况。这时就需要将大表拆分为多个小表,将小表分布在多个数据库上,形成一个数据库集群。这样的话,一条 SQL 统计语句就可以在多台服务器上并发执行,然后将执行结果汇总,实现关系数据库的大数据量分析 。
范式是具有最小冗余的表结构,三范式的概念如下所述 。
第一范式:如果每列都是不可再分的最小数据单元,则满足第一范式,第一范式的目标是确保每列的原子性。例如 Address 列存储地址信息,值为“中国北京市”,违背了第一范式列不可再分的原则,要满足第一范式,就需要将 Address 列拆分为 Country 列和 Ciy 列,分别存储“中国”和“北京市” 。
第二范式:第二范式在第一范式的基础上,规定表中的非主键列不存在对主键的部分依赖,即第二范式要求每个表都只描述一件事情。例如 Orders 表有“订单编号”,“产品编号”,“订单日期”,“产品价格”列,既包含了订单信息,也包含了产品信息,需要拆分成订单表和产品表 。
第三范式:满足第一范式和第二范式,并且表中的列不存在对非主键列的业务依赖。例如 Orders 表有“订单编号”,“顾客编号”,“订单日期”,“顾客姓名”列,除了主键“订单编号”,“顾客姓名”依赖于“顾客编号”,因此需要将该“顾客编号”移去 。
按照范围分表指在某个字段上按照范围对数据进行拆分,例如将数据按照用户 ID 的范围 0-10w、10w-20w、20w-30w 分别划分到不同的数据库中。采用这种方法扩容简单,按照规划提前建好库和表即可,缺点是大部分读和写操作都会访问新的数据,造成新库压力过大 。
哈希取模指在某个字段上计算该字段的哈希值,按照其哈希值对数据进行拆分。哈希取模的具体做法是首先对 N 台服务器从 0 到 N-1 进行编号,按照自定义的哈希算法,对每个请求的哈希值都按 N 取模,得到的余数即该数据所在的服务器编号。采用该方法的好处是数据分布均衡,数据库的整体压力小,缺点是扩缩容麻烦,在扩缩容过程中需要对所有数据重新进行哈希分配和迁移 。
一致性哈希算法取代传统的哈希取模,避免服务器集群数量发生变化导致哈希值失效,以致整个集群数据都需要重新分配的问题 。
一致性哈希算法将整个哈希空间虚拟成一个 0-2^(32-1) 的哈希环,将服务器节点和数据分别映射到哈希环上,并将对象映射到服务器节点,来实现数据在各台服务器上的哈希分 布,具体过程如下:
构建哈希环:将整个哈希空间组成一个 0-2^(32-1) 的虚拟圆环,即哈希环,如图所示 。
将服务器节点映射到哈希环:使用哈希函数将服务器映射到虚拟的哈希环上,一般可以使用服务器节点机器的 IP 地址或者机器名作为哈希函数的计算值。假设有 3 个服务器节点:node-0、node-1、node-2,通过哈希函数计算出服务器 IP 地址的哈希值,并将其分布在哈希环上 。
将数据映射到哈希环:使用相同的哈希函数计算需要存储的数据的哈希值,并将数据映射到哈希环上。假设有 4 个对象:o1、o2、o3、o4,通过哈希函数计算出对象的哈希值,并将其分布在哈希环上 。
将对象映射到服务器节点:找到对象的哈希值在哈希环上的位置,从该位置开始沿哈希环顺时针寻找,遇到的第 1 台服务器就是该对象的存储节点服务器,将该对象映射 到该服务器上。如图所示,对象 o1 被映射到 cs1 上,对象 o2 被映射到 cs2 上,对象 o3 被映射到 cs1 上,对象 o4 被映射到 cs3 上 。
传统的哈希取模,当服务器有变动(增加节点或移除节点)时,整个系统的哈希值都会失效(因为服务器的数量发生了变化,即被除数发生了变化),从而需要重新计算哈希值,并进行哈希映射和数据分布。而一致性哈希在服务器发生变动时,由于对象的数据分布只与顺时针方向的下一台服务器相关,因此只会影响所变化节点的下一个节点的数据分布 。
移除节点:假设某台服务器宕机,受影响的对象仅仅是原本映射到该服务器的对象,根据一致性哈希顺时针数据映射的原则,只需将原本映射到该服务器上的对象重新映射到下一个正常的服务器即可。例如 cs1 宕机,只需将 o1 重新映射到 cs3 即可 。
添加节点:添加节点,受影响的数据仅是新节点到沿逆时针方向的第一个节点之间的对象,将这些对象重新映射到新加入的节点即可。例如在 cs1 和 cs2 之间加入新节点 cs3,cs3 位于 o1 和 o3 之间,只需要将 o3 重新映射到 cs3 即可 。
一致性哈希算法不能保证数据的绝对平衡,在集群对象数据较少的情况下,对象并不能被均匀映射到各个节点上。为了解决数据分布不均的问题,一致性哈希算法引入“虚拟节点”的概念。虚拟节点是实际节点在哈希空间中的副本,一个实际节点对应若干虚拟节点,对应的个数也被称为副本个数,虚拟节点在哈希空间中以哈希值排列。在引入虚拟节点后,映射关系就从对象到节点转换为从对象到虚拟节点 。
最后此篇关于MySQL大表拆分的文章就讲到这里了,如果你想了解更多关于MySQL大表拆分的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我有一台 MySQL 服务器和一台 PostgreSQL 服务器。 需要从多个表中复制或重新插入一组数据 MySQL 流式传输/同步到 PostgreSQL 表。 这种复制可以基于时间(Sync)或事
如果两个表的 id 彼此相等,我尝试从一个表中获取数据。这是我使用的代码: SELECT id_to , email_to , name_to , status_to
我有一个 Excel 工作表。顶行对应于列名称,而连续的行每行代表一个条目。 如何将此 Excel 工作表转换为 SQL 表? 我使用的是 SQL Server 2005。 最佳答案 这取决于您使用哪
我想合并两个 Django 模型并创建一个模型。让我们假设我有第一个表表 A,其中包含一些列和数据。 Table A -------------- col1 col2 col3 col
我有两个表:table1,table2,如下所示 table1: id name 1 tamil 2 english 3 maths 4 science table2: p
关闭。此题需要details or clarity 。目前不接受答案。 想要改进这个问题吗?通过 editing this post 添加详细信息并澄清问题. 已关闭 1 年前。 Improve th
下面两个语句有什么区别? newTable = orginalTable 或 newTable.data(originalTable) 我怀疑 .data() 方法具有性能优势,因为它在标准 AX 中
我有一个表,我没有在其中显式定义主键,它并不是真正需要的功能......但是一位同事建议我添加一个列作为唯一主键以随着数据库的增长提高性能...... 谁能解释一下这是如何提高性能的? 没有使用索引(
如何将表“产品”中的产品记录与其不同表“图像”中的图像相关联? 我正在对产品 ID 使用自动增量。 我觉得不可能进行关联,因为产品 ID 是自动递增的,因此在插入期间不可用! 如何插入新产品,获取产品
我有一个 sql 表,其中包含关键字和出现次数,如下所示(尽管出现次数并不重要): ____________ dog | 3 | ____________ rat | 7 | ____
是否可以使用目标表中的LAST_INSERT_ID更新源表? INSERT INTO `target` SELECT `a`, `b` FROM `source` 目标表有一个自动增量键id,我想将其
我正在重建一个搜索查询,因为它在“我看到的”中变得多余,我想知道什么 (albums_artists, artists) ( ) does in join? is it for boosting pe
以下是我使用 mysqldump 备份数据库的开关: /usr/bin/mysqldump -u **** --password=**** --single-transaction --databas
我试图获取 MySQL 表中的所有行并将它们放入 HTML 表中: Exam ID Status Assigned Examiner
如何查询名为 photos 的表中的所有记录,并知道当前用户使用单个查询将哪些结果照片添加为书签? 这是我的表格: -- -- Table structure for table `photos` -
我的网站都在 InnoDB 表上运行,目前为止运行良好。现在我想知道在我的网站上实时发生了什么,所以我将每个页面浏览量(页面、引荐来源网址、IP、主机名等)存储在 InnoDB 表中。每秒大约有 10
我在想我会为 mysql 准备两个表。一个用于存储登录信息,另一个用于存储送货地址。这是传统方式还是所有内容都存储在一张表中? 对于两个表...有没有办法自动将表 A 的列复制到表 B,以便我可以引用
我不是程序员,我从这个表格中阅读了很多关于如何解决我的问题的内容,但我的搜索效果不好 我有两张 table 表 1:成员 id*| name | surname -------------------
我知道如何在 ASP.NET 中显示真实表,例如 public ActionResult Index() { var s = db.StaffInfoDBSet.ToList(); r
我正在尝试运行以下查询: "insert into visits set source = 'http://google.com' and country = 'en' and ref = '1234
我是一名优秀的程序员,十分优秀!