基于 ZooKeeper 搭建 Hadoop 高可用集群的教程图解-6ren

基于 ZooKeeper 搭建 Hadoop 高可用集群的教程图解

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章基于 ZooKeeper 搭建 Hadoop 高可用集群的教程图解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

目录。

1、高可用简介
- 1.1 高可用整体架构
- 1.2 基于 QJM 的共享存储系统的数据同步机制分析
- 1.3 NameNode 主备切换
- 1.4 YARN高可用
2、集群规划
3、前置条件所有服务器都安装有JDK，安装步骤可以参见：Linux下JDK的安装；搭建好ZooKeeper集群，搭建步骤可以参见：Zookeeper单机环境和集群环境搭建所有服务器之间都配置好SSH免密登录。
4、集群配置
- 4.1 下载并解压
- 4.3 修改配置
- 4.4 分发程序
- 5.1 启动ZooKeeper
- 5.2 启动Journalnode
- 5.3 初始化NameNode
- 5.4 初始化HA状态
- 5.5 启动HDFS
- 5.6 启动YARN
6、查看集群
- 6.1 查看进程
- 6.2 查看Web UI
7、集群的二次启动

1、高可用简介

。

hadoop 高可用 (high availability) 分为 hdfs 高可用和 yarn 高可用，两者的实现基本类似，但 hdfs namenode 对数据存储及其一致性的要求比 yarn resourcemanger 高得多，所以它的实现也更加复杂，故下面先进行讲解:

1.1 高可用整体架构。

hdfs 高可用架构如下:

图片引用自：https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ 。

hdfs 高可用架构主要由以下组件所构成:

active namenode 和 standby namenode：两台 namenode 形成互备，一台处于 active 状态，为主 namenode，另外一台处于 standby 状态，为备 namenode，只有主 namenode 才能对外提供读写服务。
主备切换控制器 zkfailovercontroller：zkfailovercontroller 作为独立的进程运行，对 namenode 的主备切换进行总体控制。zkfailovercontroller 能及时检测到 namenode 的健康状况，在主 namenode 故障时借助 zookeeper 实现自动的主备选举和切换，当然 namenode 目前也支持不依赖于 zookeeper 的手动主备切换。
zookeeper 集群：为主备切换控制器提供主备选举支持。
共享存储系统：共享存储系统是实现 namenode 的高可用最为关键的部分，共享存储系统保存了 namenode 在运行过程中所产生的 hdfs 的元数据。主 namenode 和 namenode 通过共享存储系统实现元数据同步。在进行主备切换的时候，新的主 namenode 在确认元数据完全同步之后才能继续对外提供服务。
datanode 节点：除了通过共享存储系统共享 hdfs 的元数据信息之外，主 namenode 和备 namenode 还需要共享 hdfs 的数据块和 datanode 之间的映射关系。datanode 会同时向主 namenode 和备 namenode 上报数据块的位置信息。

1.2 基于 qjm 的共享存储系统的数据同步机制分析。

目前 hadoop 支持使用 quorum journal manager (qjm) 或 network file system (nfs) 作为共享的存储系统，这里以 qjm 集群为例进行说明：active namenode 首先把 editlog 提交到 journalnode 集群，然后 standby namenode 再从 journalnode 集群定时同步 editlog，当 active namenode 宕机后， standby namenode 在确认元数据完全同步之后就可以对外提供服务.

需要说明的是向 journalnode 集群写入 editlog 是遵循 “过半写入则成功” 的策略，所以你至少要有3个 journalnode 节点，当然你也可以继续增加节点数量，但是应该保证节点总数是奇数。同时如果有 2n+1 台 journalnode，那么根据过半写的原则，最多可以容忍有 n 台 journalnode 节点挂掉.

1.3 namenode 主备切换。

namenode 实现主备切换的流程下图所示:

healthmonitor 初始化完成之后会启动内部的线程来定时调用对应 namenode 的 haserviceprotocol rpc 接口的方法，对 namenode 的健康状态进行检测.
healthmonitor 如果检测到 namenode 的健康状态发生变化，会回调 zkfailovercontroller 注册的相应方法进行处理.
如果 zkfailovercontroller 判断需要进行主备切换，会首先使用 activestandbyelector 来进行自动的主备选举.
activestandbyelector 与 zookeeper 进行交互完成自动的主备选举.
activestandbyelector 在主备选举完成后，会回调 zkfailovercontroller 的相应方法来通知当前的 namenode 成为主 namenode 或备 namenode.
zkfailovercontroller 调用对应 namenode 的 haserviceprotocol rpc 接口的方法将 namenode 转换为 active 状态或 standby 状态.

1.4 yarn高可用。

yarn resourcemanager 的高可用与 hdfs namenode 的高可用类似，但是 resourcemanager 不像 namenode ，没有那么多的元数据信息需要维护，所以它的状态信息可以直接写到 zookeeper 上，并依赖 zookeeper 来进行主备选举.

2、集群规划

。

按照高可用的设计目标：需要保证至少有两个 namenode (一主一备) 和两个 resourcemanager (一主一备) ，同时为满足“过半写入则成功”的原则，需要至少要有3个 journalnode 节点。这里使用三台主机进行搭建，集群规划如下:

3、前置条件

。

所有服务器都安装有jdk，安装步骤可以参见：linux下jdk的安装；
搭建好zookeeper集群，搭建步骤可以参见：zookeeper单机环境和集群环境搭建
所有服务器之间都配置好ssh免密登录。

4、集群配置

。

4.1 下载并解压。

下载hadoop。这里我下载的是cdh版本hadoop，下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ 。

 
   ? 
  
        # tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz

4.2 配置环境变量。

编辑profile文件:

 
   ? 
  
        # vim /etc/profile

增加如下配置:

 
   ? 
  
        export hadoop_home=/usr/app/hadoop-2.6.0-cdh5.15.2 
       
        export  path=${hadoop_home}/bin:$path

执行source命令，使得配置立即生效:

 
   ? 
  
        # source /etc/profile

4.3 修改配置。

进入${hadoop_home}/etc/hadoop目录下，修改配置文件。各个配置文件内容如下:

1. hadoop-env.sh

 
   ? 
  
        # 指定jdk的安装位置 
       
        export java_home=/usr/java/jdk1.8.0_201/

2. core-site.xml

 
   ? 
  
        <configuration> 
       
        <property> 
       
        <! 
        -- 指定namenode的hdfs协议文件系统的通信地址 --> 
       
        < 
        name 
        >fs.defaultfs</ 
        name 
        > 
       
        <value>hdfs://hadoop001:8020</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 指定hadoop集群存储临时文件的目录 --> 
       
        < 
        name 
        >hadoop.tmp.dir</ 
        name 
        > 
       
        <value>/home/hadoop/tmp</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- zookeeper集群的地址 --> 
       
        < 
        name 
        >ha.zookeeper.quorum</ 
        name 
        > 
       
        <value>hadoop001:2181,hadoop002:2181,hadoop002:2181</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- zkfc连接到zookeeper超时时长 --> 
       
        < 
        name 
        >ha.zookeeper.session-timeout.ms</ 
        name 
        > 
       
        <value>10000</value> 
       
        </property> 
       
        </configuration>

3. hdfs-site.xml

 
   ? 
  
        <configuration> 
       
        <property> 
       
        <! 
        -- 指定hdfs副本的数量 --> 
       
        < 
        name 
        >dfs.replication</ 
        name 
        > 
       
        <value>3</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- namenode节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔 --> 
       
        < 
        name 
        >dfs.namenode. 
        name 
        .dir</ 
        name 
        > 
       
        <value>/home/hadoop/namenode/data</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- datanode节点数据（即数据块）的存放位置 --> 
       
        < 
        name 
        >dfs.datanode.data.dir</ 
        name 
        > 
       
        <value>/home/hadoop/datanode/data</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 集群服务的逻辑名称 --> 
       
        < 
        name 
        >dfs.nameservices</ 
        name 
        > 
       
        <value>mycluster</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- namenode id列表--> 
       
        < 
        name 
        >dfs.ha.namenodes.mycluster</ 
        name 
        > 
       
        <value>nn1,nn2</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- nn1的rpc通信地址 --> 
       
        < 
        name 
        >dfs.namenode.rpc-address.mycluster.nn1</ 
        name 
        > 
       
        <value>hadoop001:8020</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- nn2的rpc通信地址 --> 
       
        < 
        name 
        >dfs.namenode.rpc-address.mycluster.nn2</ 
        name 
        > 
       
        <value>hadoop002:8020</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- nn1的http通信地址 --> 
       
        < 
        name 
        >dfs.namenode.http-address.mycluster.nn1</ 
        name 
        > 
       
        <value>hadoop001:50070</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- nn2的http通信地址 --> 
       
        < 
        name 
        >dfs.namenode.http-address.mycluster.nn2</ 
        name 
        > 
       
        <value>hadoop002:50070</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- namenode元数据在journalnode上的共享存储目录 --> 
       
        < 
        name 
        >dfs.namenode.shared.edits.dir</ 
        name 
        > 
       
        <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/mycluster</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- journal edit files的存储目录 --> 
       
        < 
        name 
        >dfs.journalnode.edits.dir</ 
        name 
        > 
       
        <value>/home/hadoop/journalnode/data</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 配置隔离机制，确保在任何给定时间只有一个namenode处于活动状态 --> 
       
        < 
        name 
        >dfs.ha.fencing.methods</ 
        name 
        > 
       
        <value>sshfence</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 使用sshfence机制时需要ssh免密登录 --> 
       
        < 
        name 
        >dfs.ha.fencing.ssh.private- 
        key 
        -files</ 
        name 
        > 
       
        <value>/root/.ssh/id_rsa</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- ssh超时时间 --> 
       
        < 
        name 
        >dfs.ha.fencing.ssh. 
        connect 
        -timeout</ 
        name 
        > 
       
        <value>30000</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 访问代理类，用于确定当前处于active状态的namenode --> 
       
        < 
        name 
        >dfs.client.failover.proxy.provider.mycluster</ 
        name 
        > 
       
        <value>org.apache.hadoop.hdfs.server.namenode.ha.configuredfailoverproxyprovider</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 开启故障自动转移 --> 
       
        < 
        name 
        >dfs.ha.automatic-failover.enabled</ 
        name 
        > 
       
        <value> 
        true 
        </value> 
       
        </property> 
       
        </configuration>

4. yarn-site.xml

 
   ? 
  
        <configuration> 
       
        <property> 
       
        <! 
        --配置nodemanager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在yarn上运行mapreduce程序。--> 
       
        < 
        name 
        >yarn.nodemanager.aux-services</ 
        name 
        > 
       
        <value>mapreduce_shuffle</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 是否启用日志聚合(可选) --> 
       
        < 
        name 
        >yarn.log-aggregation-enable</ 
        name 
        > 
       
        <value> 
        true 
        </value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 聚合日志的保存时间(可选) --> 
       
        < 
        name 
        >yarn.log-aggregation.retain-seconds</ 
        name 
        > 
       
        <value>86400</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 启用rm ha --> 
       
        < 
        name 
        >yarn.resourcemanager.ha.enabled</ 
        name 
        > 
       
        <value> 
        true 
        </value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- rm集群标识 --> 
       
        < 
        name 
        >yarn.resourcemanager.cluster-id</ 
        name 
        > 
       
        <value>my-yarn-cluster</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- rm的逻辑id列表 --> 
       
        < 
        name 
        >yarn.resourcemanager.ha.rm-ids</ 
        name 
        > 
       
        <value>rm1,rm2</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- rm1的服务地址 --> 
       
        < 
        name 
        >yarn.resourcemanager.hostname.rm1</ 
        name 
        > 
       
        <value>hadoop002</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- rm2的服务地址 --> 
       
        < 
        name 
        >yarn.resourcemanager.hostname.rm2</ 
        name 
        > 
       
        <value>hadoop003</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- rm1 web应用程序的地址 --> 
       
        < 
        name 
        >yarn.resourcemanager.webapp.address.rm1</ 
        name 
        > 
       
        <value>hadoop002:8088</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- rm2 web应用程序的地址 --> 
       
        < 
        name 
        >yarn.resourcemanager.webapp.address.rm2</ 
        name 
        > 
       
        <value>hadoop003:8088</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- zookeeper集群的地址 --> 
       
        < 
        name 
        >yarn.resourcemanager.zk-address</ 
        name 
        > 
       
        <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 启用自动恢复 --> 
       
        < 
        name 
        >yarn.resourcemanager.recovery.enabled</ 
        name 
        > 
       
        <value> 
        true 
        </value> 
       
        </property> 
       
        <property> 
       
        <! 
        -- 用于进行持久化存储的类 --> 
       
        < 
        name 
        >yarn.resourcemanager.store.class</ 
        name 
        > 
       
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.zkrmstatestore</value> 
       
        </property> 
       
        </configuration>

5. mapred-site.xml

 
   ? 
  
        <configuration> 
       
        <property> 
       
        <! 
        --指定mapreduce作业运行在yarn上--> 
       
        < 
        name 
        >mapreduce.framework. 
        name 
        </ 
        name 
        > 
       
        <value>yarn</value> 
       
        </property> 
       
        </configuration>

5. slaves

配置所有从属节点的主机名或ip地址，每行一个。所有从属节点上的datanode服务和nodemanager服务都会被启动.

 
   ? 
  
        hadoop001 
       
        hadoop002 
       
        hadoop003

4.4 分发程序。

将hadoop安装包分发到其他两台服务器，分发后建议在这两台服务器上也配置一下hadoop的环境变量.

 
   ? 
  
        # 将安装包分发到hadoop002 
       
        scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop002:/usr/app/ 
       
        # 将安装包分发到hadoop003 
       
        scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop003:/usr/app/

5、启动集群

。

5.1 启动zookeeper 。

分别到三台服务器上启动zookeeper服务:

 
   ? 
  
        zkserver.sh start

5.2 启动journalnode 。

分别到三台服务器的的${hadoop_home}/sbin目录下，启动journalnode进程:

 
   ? 
  
        hadoop-daemon.sh start journalnode

5.3 初始化namenode 。

在hadop001上执行namenode初始化命令:

 
   ? 
  
        hdfs namenode -format

执行初始化命令后，需要将namenode元数据目录的内容，复制到其他未格式化的namenode上。元数据存储目录就是我们在hdfs-site.xml中使用dfs.namenode.name.dir属性指定的目录。这里我们需要将其复制到hadoop002上:

 
   ? 
  
        scp -r /home/hadoop/namenode/data hadoop002:/home/hadoop/namenode/

5.4 初始化ha状态。

在任意一台namenode上使用以下命令来初始化zookeeper中的ha状态:

 
   ? 
  
        hdfs zkfc -formatzk

5.5 启动hdfs 。

进入到hadoop001的${hadoop_home}/sbin目录下，启动hdfs。此时hadoop001和hadoop002上的namenode服务，和三台服务器上的datanode服务都会被启动:

 
   ? 
  
        start-dfs.sh

5.6 启动yarn 。

进入到hadoop002的${hadoop_home}/sbin目录下，启动yarn。此时hadoop002上的resourcemanager服务，和三台服务器上的nodemanager服务都会被启动:

 
   ? 
  
        start-yarn.sh

需要注意的是，这个时候hadoop003上的resourcemanager服务通常是没有启动的，需要手动启动:

 
   ? 
  
        yarn-daemon.sh start resourcemanager

6、查看集群

。

6.1 查看进程。

成功启动后，每台服务器上的进程应该如下:

 
   ? 
  
        [root@hadoop001 sbin]# jps 
       
        4512 dfszkfailovercontroller 
       
        3714 journalnode 
       
        4114 namenode 
       
        3668 quorumpeermain 
       
        5012 datanode 
       
        4639 nodemanager 
       
        [root@hadoop002 sbin]# jps 
       
        4499 resourcemanager 
       
        4595 nodemanager 
       
        3465 quorumpeermain 
       
        3705 namenode 
       
        3915 dfszkfailovercontroller 
       
        5211 datanode 
       
        3533 journalnode 
       
        [root@hadoop003 sbin]# jps 
       
        3491 journalnode 
       
        3942 nodemanager 
       
        4102 resourcemanager 
       
        4201 datanode 
       
        3435 quorumpeermain

6.2 查看web ui 。

hdfs和yarn的端口号分别为50070和8080，界面应该如下:

此时hadoop001上的namenode处于可用状态:

而hadoop002上的namenode则处于备用状态:

。

hadoop002上的resourcemanager处于可用状态:

。

hadoop003上的resourcemanager则处于备用状态:

。

同时界面上也有journal manager的相关信息:

。

7、集群的二次启动

。

上面的集群初次启动涉及到一些必要初始化操作，所以过程略显繁琐。但是集群一旦搭建好后，想要再次启用它是比较方便的，步骤如下（首选需要确保zookeeper集群已经启动）:

在hadoop001启动 hdfs，此时会启动所有与 hdfs 高可用相关的服务，包括 namenode，datanode 和 journalnode:

 
   ? 
  
        start-dfs.sh

在hadoop002启动yarn:

 
   ? 
  
        start-yarn.sh

这个时候hadoop003上的resourcemanager服务通常还是没有启动的，需要手动启动:

 
   ? 
  
        yarn-daemon.sh start resourcemanager

参考资料

。

以上搭建步骤主要参考自官方文档:

hdfs high availability using the quorum journal manager
resourcemanager high availability

总结。

以上所述是小编给大家介绍的基于 ZooKeeper 搭建高可用集群的教程图解,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！。

原文链接：https://www.cnblogs.com/heibaiying/archive/2019/06/23/11071857.html 。

最后此篇关于基于 ZooKeeper 搭建 Hadoop 高可用集群的教程图解的文章就讲到这里了,如果你想了解更多关于基于 ZooKeeper 搭建 Hadoop 高可用集群的教程图解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： jenkins 配置用户角色权限的实现方法

文章推荐：判断python字典中key是否存在的两种方法

文章推荐： servlet3文件上传操作

文章推荐：详解python的sorted函数对字典按key排序和按value排序

hadoop - 到 hadoop 还是不到 hadoop
我们有数据(此时未分配)要转换/聚合/透视到 wazoo。我在 www 上看了看，我问的所有答案都指向 hadoop 可扩展、运行便宜(没有 SQL 服务器机器和许可证)、快速(如果你有足够的数据)
hadoop - 什么是 "Hadoop"- Hadoop 的定义？
这很明显，我们都同意我们可以将 HDFS + YARN + MapReduce 称为 Hadoop。但是，Hadoop 生态系统中的其他不同组合和其他产品会怎样？例如，HDFS + YARN + S
hadoop - es-hadoop(ElasticSearch-Hadoop)是如何做Hadoop的？
如果 es-hadoop 只是连接到 HDFS 的 Hadoop 连接器，它如何支持 Hadoop 分析？最佳答案我假设您指的是 this project .在这种情况下，ES Hadoop 项目
hadoop - Hadoop 中的 JoGL？用于图形的 Hadoop？
看完this和 this论文，我决定我想在 MapReduce 上为大型数据集实现分布式体积渲染设置作为我的本科论文工作。 Hadoop 是一个合理的选择吗？ Java 不会扼杀一些性能提升或使与 C
hadoop - 在命令行上通过 Hadoop 作业客户端提交 Hadoop 作业
我一直在尝试查找有关如何通过命令行提交 hadoop 作业的信息。我知道命令 - hadoop jar jar-file 主类输入输出还有另一个命令，我正在尝试查找有关它的信息，但未能找到 - h
hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器
Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put
hadoop - sudo hadoop 与 su hadoop
有没有人遇到奇怪的环境问题，在调用 hadoop 命令时被迫使用 SU 而不是 SUDO？ sudo su -c 'hadoop fs -ls /' hdfs Found 4 itemsdrwxr-x
hadoop - 以压缩文件作为输入运行 hadoop。 hadoop 读取的数据输入不按顺序。数字格式异常
在更改 mapred-site.xml 中的属性后，我给出了一个 tar.bz2 文件、.gz 和 tar.gz 文件作为输入。以上似乎都没有奏效。我假设这里发生的是 hadoop 作为输入读取的记录
hadoop - 使用 Hadoop 管道获取 Hadoop 映射器中的文件名
如何在 Hadoop Pipes 中获取正在 hadoop 映射器中执行的输入文件名称？我可以很容易地在基于 java 的 map reducer 中获取文件名，比如 FileSplit fil
hadoop - 流数据和 Hadoop？ (不是 Hadoop 流)
我想使用 MapReduce 方法分析连续的数据流(通过 HTTP 访问)，因此我一直在研究 Apache Hadoop。不幸的是，Hadoop 似乎期望以固定大小的输入文件开始作业，而不是能够在新数
hadoop - Hadoop-名称节点可以执行任务吗？
名称节点可以执行任务吗？默认情况下，任务在集群的数据节点上执行。最佳答案假设您正在询问MapReduce ... 使用YARN，MapReduce任务在应用程序主数据库中执行，而不是在nameno
hadoop - Hadoop Pig技术按功能分组
我有一个关系A包含 (zip-code). 我还有另一个关系B包含 (name:gender:zip-code) (x:m:1234) (y:f:1234) (z:m:1245) (s:f:1235)
hadoop - Hadoop:排序和混排
我是hadoop地区的新手。您能帮我负责(k2,list[v2,v2,v2...])形式的输出(意味着将键及其所有关联值组合在一起)的责任是吗？谢谢。最佳答案这是Hadoop的MapReduce
hadoop - Hadoop Map程序以打印输入文件
因此，我一直在尝试编写一个hadoop程序，该程序将输入作为一个包含许多文件的文件，并且我希望hadoop程序的输出仅是输入文件的一行。但是我还没有做到这一点。我也不想去 reducer 课。如果有人
hadoop - Hadoop> Mapper类输入错误
我使用的输入文本文件的内容是 1 "Come 1 "Defects," 1 "I 1 "Information 1 "J" 2 "Plain 5 "Project 1
hadoop - hadoop grep命令
谁能告诉我以下grep命令的作用: $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 最佳答案 http:/
hadoop - hadoop map减少功能
我不了解mapreducer的基本功能，mapreducer是否有助于将文件放入HDFS 或mapreducer仅有助于分析HDFS中现有文件中的内容我对hadoop非常陌生，任何人都可以指导我理解
hadoop - Hadoop put和copyfromlocal之间的区别
CopyFromLocal将从本地文件系统上载数据。不要放会从任何文件上传数据，例如。本地FS，亚马逊S3 或仅来自本地fs ??? 最佳答案请找到两个命令的用法。 put ======= Usa
hadoop - hadoop mapreduce如何在云中内部工作？
我开始研究hadoop mapreduce。我是Java和hadoop的初学者，并且了解hadoop mapreduce的编码，但是有兴趣了解它在云中的内部工作方式。您能否分享一些很好的链接来说明
hadoop - hadoop mapreduce的类路径在哪里？
我一直在寻找Hadoop mapreduce类的类路径。我正在使用Hortonworks 2.2.4版沙箱。我需要这样的类路径来运行我的javac编译器: javac -cp (CLASS_PATH)

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城