个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
26
4
在单机系统中，所有的数据都存储在同一个服务器下，当数据量越来越多的时候，超过了单机存储容量的上限，就需要使用分布式存储系统，在分布式存储系统重，数据会被拆分到不同的存储服务下，减少单机服务的压力.
在分布式系统中，每个节点存储的数据都是不同的。通过使用分布式存储，将数据水平拆分到不同的节点上，新的数据也会分配到新的节点上，比如使用 取模方式 分配节点,先用 hash 算法算出 hash 值，然后使用 hash/N , N 是节点数，比如三个节点.
如果节点数量是固定的，数据分配方式是固定的，获取数据的方式也是固定，数据也能正常的获取.
如果节点数量发生了变化，新增或者减少节点时 ，比如新增 节点4 ,原来分配到 节点1 的数据被分配到 节点4 ,原来的数据映射都无效，数据也无法正常获取了。这就需要使用到 一致性哈希算法 .
一致性哈希，从名字就能看出来，该算法符合一致性原则，当服务节点数量增加或减少，数据还能正常获取到。那一致性哈希有什么神奇的地方呢？先介绍什么是一致性哈希:
上面是一个 哈希环 ，环上有 2^32 个节点。和上面取模算法一样，一致性哈希算法也是取模算法，不同的是一致哈希算法是对 2^32 个节点取模运算，哈希环的节点是固定的，取模运算结果值也是固定的.
2^32 取模运算。 取模后的值一定是在哈希环上。那是如何找到存储的节点呢？答案 在环上往顺时针方向找到第一个节点 .
比如哈希环上，有三个节点，分别是 节点1 、 节点2 、 节点3 ，平均分布在哈希环上:
新增一个数据，先算出来哈希值，确定该数据在哈希环上的位置，然后从这个位置顺时针方向找到第一个节点，就是存储数据的节点.
比如下图中数据 key-01 ，先算出该数据在哈希环的位置，往顺时针方向找到第一个节点，也就是 节点1 ，同理 key-02 、 key-03 顺时针分别找到 节点2 和 节点3 :
增加一个节点之后，比如新增加一个 节点4 ，经过哈希计算获取节点的位置:
可以看到，此时 key-01 和 key-03 数据不受影响， key-02 存储的节点从 节点2 迁移到了 节点4 .
那减少一个节点，移除 节点1
此时 key-02 和 key-03 数据不受影响，只有 key-01 被迁移到 节点2 .
在一致性哈希上，增加或减少节点，影响的节点从新节点逆时针方向到上一个节点的数据.
对服务器节点扩容或者缩容，影响的数据只占整体数据一小部分，对整体系统的影响不大，对于数据准确性要求多的数据则不适用一致性哈希.
上面数据是均匀的分布在哈希环上，每个节点的存储压力都比较均衡，但是一致性哈希并不能保证数据会平均的分布在各个节点上，当大量的数据都分布在同一个节点上，如下图所示，大量的节点都分布在 节点3 上:
此时请求访问数据主要是集中在 节点3 上，而环上的节点服务器配置基本是一致的，不会因为某个服务器压力大，就单独加大某个服务器的配置。 节点3 数据存储和访问量是其他节点的几倍以上，当请求压力超过了服务处理的上限后，就会导致 节点3 崩溃， 节点3 挂了之后，全部数据压力都会转移到 节点1 , 节点1 也会宕机，最后形成雪崩.
为了解决数据倾斜问题，一致性哈希算法引入了 虚拟节点 ，一个节点对应多个虚拟节点，上面三个真实节点，每个节点引入 3 个虚拟节点
节点1 引入三个虚拟节点：1A、1B、1C 节点2 引入三个虚拟节点：2A、2B、2C 节点3 引入三个虚拟节点：3A、3B、3C 引入虚拟节点之后，环上一共有 9 个节点
节点数量多了之后，数据在哈希环上的分布就更加均匀了，就不容易出现上面数据倾斜的问题，当有数据存储到 1A 虚拟节点，在通过 1A 虚拟节点就能找到真实节点 节点1 了.
在实际应用中，虚拟节点的数量远大于上面虚拟节点数量。虚拟节点越多，对应的数据分布就更加的均匀。比如 Nginx 的一致性哈希算法中的虚拟节点就有 160 个.
虚拟节点除了使数据分布更加均衡之外，也会极大的提高数据的稳定性，当节点的数量变化时，会有不同的节点分担数据的请求压力，而不会像上面一样，当一个节点挂了，数据全都转到另一个节点上，导致雪崩发生.
hash%N 方式都失效了，数据也无法正常的获取了。 2^32 节点，新增一个数据，先算出来哈希值，然后取模，算出来在环上的位置， 往顺时针找到第一个服务节点 ，就是存储的服务节点。 数据倾斜 ，就需要引入 虚拟节点 ,一个服务节点对应多个虚拟节点，访问数据请求到虚拟节点，再找到对应的真实服务节点。虚拟节点越多，数据的分布就越均衡。同时，新增或者减少节点，会有不同的服务节点分摊压力，使服务更加稳定。 最后此篇关于详解一致性哈希的文章就讲到这里了,如果你想了解更多关于详解一致性哈希的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
26
4
0
我正在尝试 grep conf 文件中所有不以 开头的有效行 哈希(或) 任意数量的空格(0 个或多个)和一个散列 下面的正则表达式似乎不起作用。 grep ^[^[[:blank:]]*#] /op
我正在使用哈希通过 URL 发送 protected 电子邮件以激活帐户 Hash::make($data["email"]); 但是哈希结果是 %242y%2410%24xaiB/eO6knk8sL
我是 Perl 的新手，正在尝试从文本文件创建散列。我有一个代码外部的文本文件，旨在供其他人编辑。前提是他们应该熟悉 Perl 并且知道在哪里编辑。文本文件本质上包含几个散列的散列，具有正确的语法、缩
我一直在阅读 perl 文档，但我不太了解哈希。我正在尝试查找哈希键是否存在，如果存在，则比较其值。让我感到困惑的是，我的搜索结果表明您可以通过 if (exists $files{$key}) 找到
我遇到了数字对映射到其他数字对的问题。例如，(1,2)->(12,97)。有些对可能映射到多个其他对，所以我真正需要的是将一对映射到列表列表的能力，例如 (1,2)->((12,97),(4,1))。
我见过的所有 Mustache 文档和示例都展示了如何使用散列来填充模板。我有兴趣去另一个方向。 EG，如果我有这个: Hello {{name}} mustache 能否生成这个(伪代码): tag
我正在尝试使用此公式创建密码摘要以获取以下变量，但我的代码不匹配。不确定我做错了什么，但当我需要帮助时我会承认。希望有人在那里可以提供帮助。 文档中的公式:Base64(SHA1(NONCE + TI
我希望遍历我传递给定路径的这些数据结构(基本上是目录结构)。 目标是列出根/基本路径，然后列出所有子 path s 如果它们存在并且对于每个子 path存在，列出 file从那个子路径。 我知道这可能
我希望有一个包含对子函数的引用的散列，我可以在其中根据用户定义的变量调用这些函数，我将尝试给出我正在尝试做的事情的简化示例。 my %colors = ( vim => setup_vim()
我注意到，在使用 vim 将它们复制粘贴到文件中后尝试生成一些散列时，散列不是它应该的样子。打开和写出文件时相同。与 nano 的行为相同，所以一定有我遗漏的地方。 $ echo -n "foo"
数组和散列作为状态变量存在限制。从 Perl 5.10 开始，我们无法在列表上下文中初始化它们: 所以 state @array = qw(a b c); #Error! 为什么会这样？为什么这是不允
在端口 80 上使用 varnish 5.1 的多网站设置中，我不想缓存所有域。 这在 vcl_recv 中很容易完成。 if ( req.http.Host == "cache.this.domai
基本上，缓存破坏文件上的哈希不会更新。 class S3PipelineStorage(PipelineMixin, CachedFilesMixin, S3BotoStorage): pa
eclipse dart插件在“变量” View 中显示如下内容: 在“值”列中可见的“id”是什么意思？ “id”是唯一的吗？在调试期间，如何确定两个实例是否相同？我是否需要在所有类中重写toStr
如何将Powershell中的命令行参数读入数组？就像是 myprogram -file file1 -file file2 -file file3 然后我有一个数组 [file1,file2,fil
我正尝试在 coldfusion 中为我们的安全支付网关创建哈希密码以接受交易。 很遗憾，支付网关拒绝接受我生成的哈希值。 表单发送交易的所有元素，并发送基于五个不同字段生成的哈希值。 在 PHP 中
例如，我有一个包含 5 个元素的哈希: my_hash = {a: 'qwe', b: 'zcx', c: 'dss', d: 'ccc', e: 'www' } 我的目标是每次循环哈希时都返回，但没
我在这里看到了令人作呕的类似问题，但没有一个能具体回答我自己的问题。 我正在尝试以编程方式创建哈希的哈希。我的问题代码如下: my %this_hash = (); if ($user_hash{$u
我正尝试在 coldfusion 中为我们的安全支付网关创建哈希密码以接受交易。 很遗憾，支付网关拒绝接受我生成的哈希值。 表单发送交易的所有元素，并发送基于五个不同字段生成的哈希值。 在 PHP 中
这个问题已经有答案了: Java - how to convert letters in a string to a number? (9 个回答) 已关闭 7 年前。 我需要一种简短的方法将字符串转
我是一名优秀的程序员,十分优秀！