个人中心
文章发布
退出
作者热门文章
- 921. Minimum Add to Make Parentheses Valid 使括号有效的最少添加
- 915. Partition Array into Disjoint Intervals 分割数组
- 932. Beautiful Array 漂亮数组
- 940. Distinct Subsequences II 不同的子序列 II
26
4
在设计分布式系统部署时，必须执行一些基本的数学严谨性，以确保在给定系统的数据和软件要求的情况下有足够的计算能力。对于此功能，在估计某些备份和还原实施的性能时，网络容量的可用性是最大的瓶颈。第二个最昂贵的功能是可以读/写数据的速度。
要估计完整备份的持续时间，我们必须了解调用的一般操作：
为了估计最后一步将花费多长时间，我们必须对硬件做出一些假设。请注意，这些对您的系统来说并不准确 – 这些是您或您的管理员为您的系统所知的数字。假设在单个节点上从HDFS读取数据的速度上限为80MB / s（在该主机上运行的所有Mapper上），现代网络接口控制器（NIC）支持10Gb / s，架顶式交换机可以处理40Gb / s，集群之间的WAN为10Gb / s。这意味着您只能以1.25GB / s的速度将数据发送到远程控制器 – 这意味着参与ExportSnapshot的16个节点（1.25 * 1024 / 80 = 16）应该能够完全饱和集群之间的链接。由于群集中有更多节点，我们仍然可以使网络饱和，但对任何一个节点的影响较小，这有助于确保本地SLA。如果快照的大小是10TB，这将完全备份将花费2.5小时（10 * 1024 / 1.25 / (60 * 60) = 2.23hrs）
作为一般性声明，本地群集与远程存储之间的WAN带宽很可能是完全备份速度的最大瓶颈。
当考虑将备份的计算影响限制为“生产系统”时，可以使用可选的命令行参数对hbase backup create: -b、-w、-q进行重用。该-b选项定义每个worker（Mapper）写入数据的带宽。该-w参数限制了在DistCp作业中生成的工作者数量。该-q允许指定的YARN队列可以可以限制生成worker的特定节点——这可以隔离备份工人执行复制到一组非关键节点。将-b和-w选项与前面的公式关联起来：-b用于限制每个节点读取80MB/s的数据，-w用于限制作业产生16个worker任务。
就像我们为完整备份所做的那样，我们必须了解增量备份过程，以估计其运行时间和成本。
对于第二步，该操作的主要成本是重写数据（假设WAL中的大部分数据被保留）。在这种情况下，我们可以假设每个节点的聚合写入速度为30MB / s。继续我们的16节点集群示例，这将需要大约15分钟来执行50GB数据（50 * 1024/60/60 = 14.2）的此步骤。启动DistCp MapReduce作业的时间可能会占据复制数据所需的实际时间（50 / 1.25 = 40秒）并且可以忽略。
26
4
0
我在 iOS 上有一个使用 WebSQL 数据库的 PhoneGap 应用程序。在某些地方，我读到存储容量是 5MB，而在其他地方，我读到它是 50MB，有人可以帮我解决这个问题吗？我还计划在数据库中
我想弄清楚如何更新节点的 pod 容量。我使用文档中概述的 Vagrant/VM 环境进行了简单的集群设置。我尝试使用 kubectl 修补节点的 pod 容量，执行以下操作: 通过以下方式发送补丁所
我想创建一个函数，根据某人系统上的可用 RAM 大小来导入不同批处理的数据。但是如何找到 R 中的可用 RAM 量呢？我可以使用 memory.size() 但这只适用于 Windows。 最佳答案
目前，我正在努力将 Power BI 内容嵌入到我的 Web 应用程序中。我已经通过服务主体实现了它，并且它按预期工作。但是对于产品环境，是否必须为我的报告或工作区添加容量？是否可以在不增加生产环境容
我有一个 3 节点 coros kubernetes 集群启动并运行。 我想使用来自独立 NFS 服务器的 persitentvolumes(pv)。 nfs.yaml apiVersion: v1
我正在学习golang一段时间。我遇到了 channel 问题。 我有两个例子。它们看起来一样，但是其中1个给出了错误。 当我分配 channel 容量(转换为缓冲 channel )时，问题已解决，
我正在尝试创建一个子例程，将一个字符串插入另一个字符串。我想检查主机字符串是否有足够的容量来容纳所有字符，如果没有，则返回错误整数。这需要使用类似 sizeof 的东西，但可以使用指针调用。我的代码如
这个问题在这里已经有了答案: size vs capacity of a vector? (8 个答案) 关闭 7 年前。 在下面的程序中，我只是创建了一个空 vector ，然后将大小调整为 5
免责声明 1 - 我是编程新手免责声明 2 - 我搜索了又搜索，但找不到我正在寻找的帮助。 对于一个项目，我或多或少地以更精简的形式重写了 vector 类。我挂断的部分是编写 push_back 方
我对 BTree 的理解是: if root BTree size is 32, the level 1 have 1024 keys capacity the level 2 can sort 10
我有一个使用 ActionBar 的应用程序，我自己处理方向更改: android:configChanges="keyboard|keyboardHidden|orientation|screenS
如何将 hadoop DFS 的配置容量从默认的 50GB 增加到 100GB？ 我目前的设置是在 centOS6 机器上运行的 hadoop 1.2.1，使用了 450GB 中的 120GB。已使用
我的问题是关于 slice 长度和容量。我在这里学习 Go:https://tour.golang.org/moretypes/11 . (我的问题被标记为可能与 this 重复；但是，事实并非如此。
现在尝试从教程中学习 Go，并且有一个非常基本的问题: func main() { a := make([]int, 5) // [0,0,0,0,0] len=5 cap=5 b :=
如何以以下格式获取有关数据库中所有表空间的信息。 TABLESPACE_NAME | FILE_NAME | ALLOCATED_MB | FREE_MB | CAPACITY | 有没有办法自
我想基于每个作业更改群集的减少插槽容量。也就是说， 最初，我为Tasktracker配置了8个reduce插槽，因此对于具有100个reduce任务的作业，将同时运行(8 * datanode数量)r
我正在运行单节点 Hadoop 部署。我知道我的应用程序需要多少数据，我可以设置(和重新设置)HDFS 使用的最大容量吗？ 我已经尝试了以下方法，但似乎无法实现。 检查 hdfs-site.xml 和
我安装了 splunk 来监控和分析 hadoop 作业。我在其他节点的Jobtracker、forwarder和TA中安装splunk core和splunk hadoop app后，HDFS ca
vector::operator= 会改变 vector 容量吗？如果有，怎么做？ vector的拷贝构造函数是否拷贝容量？ 我查看了文档，但找不到具体答案。是否依赖于实现？ 最佳答案 您可以保证:
将 SQL 数据库导出到存储时，我们的 DTU 容量已达到，这本质上意味着我们的系统性能受到严重影响。 这对我们来说是一个问题，因为我们使用导出功能来备份和移动数据库。 这个问题有解决办法吗？ 最佳答
我是一名优秀的程序员,十分优秀！