- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章HDFS分布式存储中NameNode 和DataNode 有什么区别?由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
随着互联网不断得突飞猛进, 数据就逐渐演变为科技和经济发展的核心 。更是 对于互联网时代的人类和企业来说,是至关重要的,可能对于普通人来说没有太大影响,但是对于国家和大型企业来说,数据就是其命脉,人工智能就是对数据海量化的最好证明之一.
所以,数据存储的稳定在一定程度上就可以决定人类经济的高度.
“但是, 许多人还没有搞清楚个人电脑互联网是什么,移动互联网在这里,当我们还没搞清楚移动互联网的时候,大数据时代又来了, " 马云在离任时说。大数据的应用已经进入了一个快速发展的时期,未来一种新的商业模式的出现有望带来更大的发展.
由于以人工智能、5G 和物联网为主导的新一轮信息技术革命,数据中心的迅速增长导致存储产业链的需求大幅增加。在全球和中国数据存储需求迅速增长的背后,必然伴随着产业链的繁荣.
目前市场中,HDFS分布式存储系统是很热门的讨论话题,各种企业也倾向于搭建分布式存储系统.
那么,什么是HDFS 分布式存储?
HDFS分布式存储公链是一套完整的个人数据存储解决方案,它由无数的节点以 p2p的形式组成一个数据存储阵列,采用POC+POST的双重共识机制来识别及分配奖励,采用加密机制对数据传输及存储过程进行保护形成一套安全、高效、经济的个人数据存储全套解决方案.
分布式存储框架 。
分布式存储技术的实现,往往离不开底层的分布式存储框架。根据其存储的类型,可分为块存储,对象存储和文件存储。在主流的分布式存储技术中,HDFS 属于文件存储,Swift 属于对象存储,而Ceph 可支持块存储、对象存储和文件存储,故称为统一存储.
HDFS 是Hadoop 核心组成之一,是分布式计算中数据存储管理的基础,被设计成适合运行在通用硬件上的分布式文件系统.
HDFS 的功能模块 。
(1) Client 。
Client 是用户与HDFS 交互的手段,当文件上传 HDFS 的时候,Client 将文件切分成一个一个的 Block ,然后进行上传;Client通过与NameNode 交互,来获取文件的位置信息;与 DataNode 交互,读取或者写入数据;Client 还可以提供NameNode 格式化等一些命令来管理HDFS ;同时,Client 可以通过对HDFS 的增删改查等操作来访问HDFS .
(2) NameNode 。
NameNode 就是HDFS 的Master 架构,它维护着文件系统树及整棵树内所有的文件和目录,HDFS 文件系统中处理客服端读写请求、管理数据块(Block )的映射信息、配置副本策略等管理工作由NameNode 来完成.
(3) DataNode 。
NameNode 下达命令,DataNode 执行实际操作。DataNode 表示实际存储的数据块,同时可以执行数据块的读写操作.
(4) Secondary NameNode 。
Secondary NameNode 的功能主要是辅助NameNode ,分担其工作量;在紧急情况下可以辅助恢复NameNode ,但是它不能替换NameNode 并提供服务.
HDFS 的优势 。
HDFS 的特点 。
HDFS 的功能 。
HDFS的架构 。
下面给出的是 Hadoop 文件系统的体系结构:
HDFS 的元素:
(1) Namenod 。
Namenode 是包含 GNU/Linux 操作系统的产品硬件。它是一种可以在产品硬件上运行的软件。具有 Namenode 的系统充当主服务器,并执行以下任务.
(2) Datanode 。
Datanode 是具有 GNU/Linux 操作系统和数据内核软件的产品硬件。对于 cluster (群集)中的每个产品硬件 / 系统,都将有一个数据节点,这些节点管理其系统的数据存储.
根据客户端请求在文件系统上执行读写操作.
根据 namenode 的说明执行块创建、删除和复制等操作.
(3) Block 。
通常,用户数据存储在 HDFS 的文件中。文件系统中的文件将分为一个或多个片段存储在单个数据节点中。这些文件段称为block 。换句话说, HDFS 可以读取或写入的最小数据量称为 block 。默认块大小为 64MB ,可以根据 HDFS 配置进行更改.
最后此篇关于HDFS分布式存储中NameNode 和DataNode 有什么区别?的文章就讲到这里了,如果你想了解更多关于HDFS分布式存储中NameNode 和DataNode 有什么区别?的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
平时很少在jquery中用到this。查看代码时发现用到了,就调试出this的值,心想原来如此。还是挺有用的。这里总结一下this与$(this)的区别和使用。 $(this)生成的是什么?
使用单例类和应用程序范围的托管 bean 来保存应用程序数据有区别吗? 我需要查找某些 JNDI 资源,例如远程 bean 接口(interface),因此我为自己编写了一个单例来缓存我的引用并且只允
如果您仔细查看包含的图片,您会注意到您可以使用 Eclipse IDE 重构 Groovy 代码并将方法转换为闭包,反之亦然。那么,闭包到底是什么,它与方法有什么不同呢?有人可以举一个使用闭包的好例子
vagrant box repackage有什么区别( docs ) 和 vagrant package ( docs )? 我意识到 vagrant package仅适用于 VirtualBox 提
我想看看是否有人可以解释为什么以下代码适用于 valueOf 但不适用于其他代码。 import java.math.BigDecimal; public class Change { publ
这个问题已经有答案了: 已关闭12 年前。 Possible Duplicates: What is Closures/Lambda in PHP or Javascript in layman te
This question already has answers here: Vagrant, Docker, Puppet, Chef (3个答案) 2年前关闭。 docker和chef有什么共同
以下代码在95%的机器上产生相同的输出,但是在几台机器上却有所不同。在 Debug模式下,输出: Changing from New to Fin OK 但在 Release模式下: Changing
////Creating Object var Obj; // init Object Obj= {}; 它们之间有什么区别两个? 有没有可能把它变成一个单行? 这样使用有什么好处吗?
我想找出定时器服务之间的区别。我应该使用哪个以及何时使用。我正在使用 Jboss 应用服务器。 1) java.ejb.Schedule。 @Schedule注解或配置自xml。 2) javax.e
我发现在 C++ 中可以通过三种不同的方式将对象传递给函数。假设我的类(class)是这样的: class Test { int i; public: Test(int x);
有什么区别。 public class Test { public static void main(String args[]) { String toBeCast = "c
如果我有一列,设置为主索引,设置为INT。 如果我不将其设置为自动递增,而只是将唯一的随机整数插入其中,与自动递增相比,这是否会减慢 future 的查询速度? 如果我在主索引和唯一索引为 INT 的
这两种日期格式有什么区别。第一个给出实际时间,第二个给出时间购买添加时区偏移值。 NSDateFormatter * dateFormatter = [[NSDateFormatter alloc]
如果有一个函数,请说foo: function foo() { console.log('bar'); } 那么在 JavaScript 中,从另一个函数调用一个函数有什么区别,如下所示: f
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 4 年前。 Improv
代码是什么: class Time { private: int hours; int minutes; int seconds; pu
我知道这是非常基本的,但有人介意解释一下这两个数组声明之间的区别吗: #include array myints; ...和: int myints[5]; ...以及为什么 myints.size
我学会了如何根据 http://reference.sitepoint.com/css/specificity 计算 css 特异性但是,基于this reference,我不明白伪类(来自c)和伪元
为什么在运行 2) 时会出现额外的空行?对我来说 1 就像 2。那么为什么 2) 中的额外行? 1) export p1=$(cd $(dirname $0) && pwd) #
我是一名优秀的程序员,十分优秀!