个人中心
文章发布
退出
作者热门文章
- 使用 Spring Initializr 创建 Spring Boot 应用程序
- 在Spring Boot中配置Cassandra
- 在 Spring Boot 上配置 Tomcat 连接池
- 将Camel消息路由到嵌入WildFly的Artemis上
27
4
随业务井喷，DB出现变化：
所有这些更改都要求数据、请求可以从一个节点转移到另一个节点。 将负载从集群中的一个节点向另一个节点移动的过程称为 再平衡（rebalancing）。无论哪种分区策略，分区rebalancing通常至少要满足：
图-3提过，最好将hash值分成不同区间范围，然后每个区间分配给一个分区。
那为何不使用mod（Java中的%运算符）。如hash(key) mod 10 返回介于 0 和 9 之间的数字。若有 10 个节点，编号为 0~9，这似乎是将每个K分配给一个节点的最简单方法。
但问题是，若节点数量 N 变化，大多数K将需从一个节点移动到另一个。假设 hash(key)=123456 。最初10个节点，则该K一开始在节点6（因为123456 mod 10 = 6）：
这频繁的迁移大大增加rebalancing的成本。
所以重点是减少迁移的数据。
还好有个很简单的解决方案：创建比节点更多的分区，并为每个节点分配多个分区。如10 个节点的集群，DB可能会从一开始就逻辑划分为 1,000 个分区，因此大约有 100 个分区分配给每个节点。
若一个新节点加入集群，新节点可以从当前每个节点中窃取一些分区，直到分区再次达到全局平衡。过程如图-6。若从集群中删除一个节点，则会发生相反情况。
选中的整个分区会在节点之间迁移，但分区的总数不变，K到分区的映射关系也不变。唯一变的是分区所在节点。这种变更并非即时，毕竟在网络上传输数据总需要时间，所以在传输过程中，旧分区仍可接收读写操作。
原则上，也可以将集群中的不同的硬件配置因素考虑进来：性能更强大的节点分配更多分区，从而能分担更多负载。在ES 、Couchbase中使用了这种动态平衡方法。
使用该策略时，分区数量通常在DB第一次建立时确定，之后不会改变。虽然原则上可拆分、合并分区，但固定数量的分区使得操作都更简单，因此许多固定分区策略的 DB 决定不支持分区拆分。因此，初始化时的分区数就是你能拥有的最大节点数量，所以你要充分考虑将来业务需求，设置足够大的分区数。但每个分区也有额外管理开销，选择过高数字也有副作用。
若数据集的总规模难预估（如可能开始很小，但随时间推移会变异常得大），此时，选择合适的分区数就很难。由于每个分区包含的数据量上限是固定的，因此每个分区的实际大小与集群中的数据总量成正比：
分区大小应“恰到好处”，若分区数量固定了，但总数据量却变动很大，则难以达到最佳性能。
对于使用K范围分区的DB，若边界设置有问题，可能导致所有数据都挤在一个分区而其他分区基本为空，则设定固定边界、固定数量的分区将很不便：而手动去重新配置分区边界又很繁琐。
对此，K范围分区的DB，如HBase采用动态创建分区：
这有些类似B树的分裂过程。
每个分区分配给一个节点，而每个节点可承载多个分区，和固定数量的分区一样。大分区拆分后，可将其中一半转移到另一个节点，以平衡负载。HBase中，分区文件的传输通过 HDFS实现。
动态分区的一个优点，分区数量可自动适配数据总量：
但一个空DB，因为没有确定分区边界的先验信息，所以会从一个分区开始。数据集开始时可能很小，直到达到第一个分区的分裂点前，所有写操作都必须由单节点处理，而其他节点则处于空闲状态。为解决该问题，HBase、MongoDB允许在一个空DB配置一组初始分区（预分割，pre-splitting）。在K范围分区策略下，预分割需要提前知道K的分布情况。
动态分区不仅适于K的范围分区，也适用于hash分区。MongoDB 2.4 开始同时支持范围和hash分区，且都支持动态分割分区。
两种情况下，分区数都和节点数无关。
Cassandra则采用第三种方案，使分区数与集群节点数成正比。即每个节点具有固定数量的分区。此时，每个分区的大小和数据集大小成正比，而节点数不变，但是当增加节点数时，分区将再次变小。由于较大数据量通常需大量节点来存储，因此这种方法也使每个分区的大小保持稳定。
当一个新节点加入集群时，它随机选择固定数量的现有分区进行拆分，然后拿走这些分区的一半数据量，将另一半数据留在原节点。随机选择可能产生不公平的分区分割，但平均分区数较大时（Cassandra默认每个节点有256个分区），新节点最终会从现有节点获得相当数量的负载。 Cassandra 3.0引入优化算法，可避免不公平的分割。
随机选择分区边界要求使用hash分区策略（可从hash函数产生的数字范围中设置边界）。这种方法也最符合一致性哈希的定义。
动态是自动还是手动执行？
全自动的再平衡（即由系统自动决定，何时将分区从一个节点迁移到另一个节点，无须人工干预）和完全手动（即分区到节点的映射由管理员显式配置）之间有个权衡。如Couchbase会自动生成一个推荐的分区分配，但需管理员确认生效。
全自动再平衡更方便，正常维护之外操作工作很少，但可能不可预测。再平衡是个昂贵操作，因其需重新路由请求，并将大量数据从一个节点迁移到另一个节点。若出现异常，可能会使网络或节点的负载过重，并降低其他请求的性能。
自动平衡和自动故障检测相结合也可能存在风险。假设某节点过载，且对请求的响应暂时很慢，而其他节点得出结论：过载节点已失效，并自动平衡集群，转移其负载。客观上，这会加重该节点、其他节点和网络的负载，从而使情况更糟，甚至级联失效。
对此，再平衡过程中有人参与是更推荐做法。这比全自动响应慢一点，但可有效防止意外。
27
4
0
初学者 android 问题。好的，我已经成功写入文件。例如。 //获取文件名 String filename = getResources().getString(R.string.filename
我已经将相同的图像保存到/data/data/mypackage/img/中，现在我想显示这个全屏，我曾尝试使用 ACTION_VIEW 来显示 android 标准程序，但它不是从/data/dat
我正在使用Xcode 9，Swift 4。 我正在尝试使用以下代码从URL在ImageView中显示图像: func getImageFromUrl(sourceUrl: String) -> UII
我的 Ubuntu 安装 genymotion 有问题。主要是我无法调试我的数据库，因为通过 eclipse 中的 DBMS 和 shell 中的 adb 我无法查看/data/文件夹的内容。没有显示
我正在尝试用 PHP 发布一些 JSON 数据。但是出了点问题。 这是我的 html -- {% for x in sets %}
我观察到两种方法的结果不同。为什么是这样？我知道 lm 上发生了什么，但无法弄清楚 tslm 上发生了什么。 > library(forecast) > set.seed(2) > tts lm(t
我不确定为什么会这样!我有一个由 spring data elasticsearch 和 spring data jpa 使用的类，但是当我尝试运行我的应用程序时出现错误。 Error creatin
在 this vega 图表，如果我下载并转换 flare-dependencies.json使用以下 jq 到 csv命令， jq -r '(map(keys) | add | unique) as
我正在提交一个项目，我必须在其中创建一个带有表的 mysql 数据库。一切都在我这边进行，所以我只想检查如何将我所有的压缩文件发送给使用不同计算机的人。基本上，我如何为另一台计算机创建我的数据库文件，
我有一个应用程序可以将文本文件写入内部存储。我想仔细看看我的电脑。 我运行了 Toast.makeText 来显示路径，它说:/数据/数据/我的包 但是当我转到 Android Studio 的 An
我喜欢使用 Genymotion 模拟器以如此出色的速度加载 Android。它有非常好的速度，但仍然有一些不稳定的性能。 如何从 Eclipse 中的文件资源管理器访问 Genymotion 模拟器
我需要更改 Silverlight 中文本框的格式。数据通过 MVVM 绑定(bind)。 例如，有一个 int 属性，我将 1 添加到 setter 中的值并调用 OnPropertyChanged
我想向 Youtube Data API 提出请求，但我不需要访问任何用户信息。我只想浏览公共(public)视频并根据搜索词显示视频。 我可以在未经授权的情况下这样做吗？ 最佳答案 YouTube
我已经设置了一个 Twilio 应用程序，我想向人们发送更新，但我不想回复单个文本。我只是想让他们在有问题时打电话。我一切正常，但我想在发送文本时显示传入文本，以确保我不会错过任何问题。我正在使用 p
我有一个带有表单的网站(目前它是纯 HTML，但我们正在切换到 JQuery)。流程是这样的: 接受用户的输入 --- 5 个整数 通过 REST 调用网络服务 在服务器端运行一些计算...并生成一个
假设我们有一个名为 configuration.js 的文件，当我们查看内部时，我们会看到: 'use strict'; var profile = { "project": "%Projec
这部分是对 Previous Question 的扩展我的: 我现在可以从我的 CI Controller 成功返回 JSON 数据，它返回: {"results":[{"id":"1","Sourc
有什么有效的方法可以删除 ios 中 CBL 的所有文档存储？我对此有疑问，或者，如果有人知道如何从本质上使该应用程序像刚刚安装一样，那也会非常有帮助。我们正在努力确保我们的注销实际上将应用程序设置为
我有一个 Rails 应用程序，它与其他 Rails 应用程序通信以进行数据插入。我使用 jQuery $.post 方法进行数据插入。对于插入，我的其他 Rails 应用程序显示 200 OK。但在
我正在为服务于发布请求的 API 调用运行单元测试。我正在传递请求正文，并且必须将响应作为帐户数据返回。但我只收到断言错误 注意:数据是从 Azure 中获取的 spec.js const accou
我是一名优秀的程序员,十分优秀！