Hadoop 2.x伪分布式环境搭建详细步骤-6ren

Hadoop 2.x伪分布式环境搭建详细步骤

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

25

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Hadoop 2.x伪分布式环境搭建详细步骤由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

本文以图文结合的方式详细介绍了Hadoop 2.x伪分布式环境搭建的全过程，供大家参考，具体内容如下。

1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh 。

方法：使用notepad++(beifeng用户)打开这三个文件。

添加代码：export JAVA_HOME=/opt/modules/jdk1.7.0_67 。

2、修改core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml配置文件。

1）修改core-site.xml 。

 
    ? 
   
         < 
         configuration 
         > 
        
         　　< 
         property 
         > 
        
         　　　　< 
         name 
         >fs.defaultFS</ 
         name 
         > 
        
         　　　　< 
         value 
         >hdfs://Hadoop-senior02.beifeng.com:8020</ 
         value 
         > 
        
         　　</ 
         property 
         > 
        
         　　< 
         property 
         > 
        
         　　　　< 
         name 
         >hadoop.tmp.dir</ 
         name 
         > 
        
         　　　　< 
         value 
         >/opt/modules/hadoop-2.5.0/data</ 
         value 
         > 
        
         　　</ 
         property 
         > 
        
         </ 
         configuration 
         >

2）修改hdfs-site.xml 。

 
    ? 
   
         < 
         configuration 
         > 
        
         　　< 
         property 
         > 
        
         　　　　< 
         name 
         >dfs.replication</ 
         name 
         > 
        
         　　　　< 
         value 
         >1</ 
         value 
         > 
        
         　　</ 
         property 
         > 
        
         　　< 
         property 
         > 
        
         　　　　< 
         name 
         >dfs.namenode.http-address</ 
         name 
         > 
        
         　　　　< 
         value 
         >Hadoop-senior02.beifeng.com:50070</ 
         value 
         > 
        
         　　</ 
         property 
         > 
        
         </ 
         configuration 
         >

3）修改yarn-site.xml 。

 
    ? 
   
 
     
       
       
         < 
         configuration 
         > 
        
 
         　　< 
         property 
         > 
        
 
         　　　　< 
         name 
         >yarn.nodemanager.aux-services</ 
         name 
         > 
        
 
         　　　　< 
         value 
         >mapreduce_shuffle</ 
         value 
         > 
        
 
         　　</ 
         property 
         > 
        
 
         　　< 
         property 
         > 
        
 
         　　　　< 
         name 
         >yarn.resourcemanager.hostname</ 
         name 
         > 
        
 
         　　　　< 
         value 
         >Hadoop-senior02.beifeng.com</ 
         value 
         > 
        
 
         　　</ 
         property 
         > 
        
 
         　　< 
         property 
         > 
        
 
         　　　　< 
         name 
         >yarn.log-aggregation-enable</ 
         name 
         > 
        
 
         　　　　< 
         value 
         >true</ 
         value 
         > 
        
 
         　　</ 
         property 
         > 
        
 
         　　< 
         property 
         > 
        
 
         　　　　< 
         name 
         >yarn.log-aggregation.retain-seconds</ 
         name 
         > 
        
 
         　　　　< 
         value 
         >86400</ 
         value 
         > 
        
 
         　　</ 
         property 
         > 
        
 
         </ 
         configuration 
         > 
        
 
     
 
   

4）修改mapred-site.xml 。

 
    ? 
   
         < 
         configuration 
         > 
        
         　　< 
         property 
         > 
        
         　　　　< 
         name 
         >mapreduce.framework.name</ 
         name 
         > 
        
         　　　　< 
         value 
         >yarn</ 
         value 
         > 
        
         　　</ 
         property 
         > 
        
         　　< 
         property 
         > 
        
         　　　　< 
         name 
         >mapreduce.jobhistory.webapp.address</ 
         name 
         > 
        
         　　　　< 
         value 
         >0.0.0.0:19888</ 
         value 
         > 
        
         　　</ 
         property 
         > 
        
         </ 
         configuration 
         >

3、启动hdfs 。

1）格式化namenode:$ bin/hdfs namenode -format 。

2）启动namenode:$sbin/hadoop-daemon.sh start namenode 。

3）启动datanode:$sbin/hadoop-daemon.sh start datanode 。

4）hdfs监控web页面：http://hadoop-senior02.beifeng.com:50070 。

4、启动yarn 。

1）启动resourcemanager:$sbin/yarn-daemon.sh start resourcemanager 。

2）启动nodemanager:sbin/yarn-daemon.sh start nodemanager 。

3）yarn监控web页面：http://hadoop-senior02.beifeng.com:8088 。

5、测试wordcount jar包。

1）定位路径：/opt/modules/hadoop-2.5.0 。

2）代码测试：bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/sort.txt /output6/ 。

运行过程:

16/05/08 06:39:13 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-senior02.beifeng.com/192.168.241.130:8032 16/05/08 06:39:15 INFO input.FileInputFormat: Total input paths to process : 1 16/05/08 06:39:15 INFO mapreduce.JobSubmitter: number of splits:1 16/05/08 06:39:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1462660542807_0001 16/05/08 06:39:16 INFO impl.YarnClientImpl: Submitted application application_1462660542807_0001 16/05/08 06:39:16 INFO mapreduce.Job: The url to track the job: http://Hadoop-senior02.beifeng.com:8088/proxy/application_1462660542807_0001/ 16/05/08 06:39:16 INFO mapreduce.Job: Running job: job_1462660542807_0001 16/05/08 06:39:36 INFO mapreduce.Job: Job job_1462660542807_0001 running in uber mode : false 16/05/08 06:39:36 INFO mapreduce.Job: map 0% reduce 0% 16/05/08 06:39:48 INFO mapreduce.Job: map 100% reduce 0% 16/05/08 06:40:04 INFO mapreduce.Job: map 100% reduce 100% 16/05/08 06:40:04 INFO mapreduce.Job: Job job_1462660542807_0001 completed successfully 16/05/08 06:40:04 INFO mapreduce.Job: Counters: 49 。

3）结果查看：bin/hdfs dfs -text /output6/par* 。

运行结果:

hadoop 2 jps 1 mapreduce 2 yarn 1 。

6、MapReduce历史服务器。

1）启动：sbin/mr-jobhistory-daemon.sh start historyserver 。

2）web ui界面：http://hadoop-senior02.beifeng.com:19888 。

7、hdfs、yarn、mapreduce功能。

1）hdfs：分布式文件系统，高容错性的文件系统，适合部署在廉价的机器上.

hdfs是一个主从结构，分为namenode和datanode，其中namenode是命名空间，datanode是存储空间，datanode以数据块的形式进行存储，每个数据块128M 。

2）yarn：通用资源管理系统，为上层应用提供统一的资源管理和调度.

yarn分为resourcemanager和nodemanager，resourcemanager负责资源调度和分配，nodemanager负责数据处理和资源。

3）mapreduce：MapReduce是一种计算模型，分为Map（映射）和Reduce（归约）.

map将每一行数据处理后，以键值对的形式出现，并传给reduce；reduce将map传过来的数据进行汇总和统计.

以上就是本文的全部内容，希望对大家的学习有所帮助.

最后此篇关于Hadoop 2.x伪分布式环境搭建详细步骤的文章就讲到这里了,如果你想了解更多关于Hadoop 2.x伪分布式环境搭建详细步骤的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

25

4

0

文章推荐： Spring集成MyBatis完整实例(分享)

文章推荐：祝妈妈母亲节快乐的九宫格背景图母亲节快乐的九宫格2021

文章推荐： python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】

文章推荐：好看的母亲节蛋糕图片最新2021 这一生的浪漫和宠溺记得给母亲留一份

hadoop - 到 hadoop 还是不到 hadoop
我们有数据(此时未分配)要转换/聚合/透视到 wazoo。我在 www 上看了看，我问的所有答案都指向 hadoop 可扩展、运行便宜(没有 SQL 服务器机器和许可证)、快速(如果你有足够的数据)
hadoop - 什么是 "Hadoop"- Hadoop 的定义？
这很明显，我们都同意我们可以将 HDFS + YARN + MapReduce 称为 Hadoop。但是，Hadoop 生态系统中的其他不同组合和其他产品会怎样？例如，HDFS + YARN + S
hadoop - es-hadoop(ElasticSearch-Hadoop)是如何做Hadoop的？
如果 es-hadoop 只是连接到 HDFS 的 Hadoop 连接器，它如何支持 Hadoop 分析？最佳答案我假设您指的是 this project .在这种情况下，ES Hadoop 项目
hadoop - Hadoop 中的 JoGL？用于图形的 Hadoop？
看完this和 this论文，我决定我想在 MapReduce 上为大型数据集实现分布式体积渲染设置作为我的本科论文工作。 Hadoop 是一个合理的选择吗？ Java 不会扼杀一些性能提升或使与 C
hadoop - 在命令行上通过 Hadoop 作业客户端提交 Hadoop 作业
我一直在尝试查找有关如何通过命令行提交 hadoop 作业的信息。我知道命令 - hadoop jar jar-file 主类输入输出还有另一个命令，我正在尝试查找有关它的信息，但未能找到 - h
hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器
Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put
hadoop - sudo hadoop 与 su hadoop
有没有人遇到奇怪的环境问题，在调用 hadoop 命令时被迫使用 SU 而不是 SUDO？ sudo su -c 'hadoop fs -ls /' hdfs Found 4 itemsdrwxr-x
hadoop - 以压缩文件作为输入运行 hadoop。 hadoop 读取的数据输入不按顺序。数字格式异常
在更改 mapred-site.xml 中的属性后，我给出了一个 tar.bz2 文件、.gz 和 tar.gz 文件作为输入。以上似乎都没有奏效。我假设这里发生的是 hadoop 作为输入读取的记录
hadoop - 使用 Hadoop 管道获取 Hadoop 映射器中的文件名
如何在 Hadoop Pipes 中获取正在 hadoop 映射器中执行的输入文件名称？我可以很容易地在基于 java 的 map reducer 中获取文件名，比如 FileSplit fil
hadoop - 流数据和 Hadoop？ (不是 Hadoop 流)
我想使用 MapReduce 方法分析连续的数据流(通过 HTTP 访问)，因此我一直在研究 Apache Hadoop。不幸的是，Hadoop 似乎期望以固定大小的输入文件开始作业，而不是能够在新数
hadoop - Hadoop-名称节点可以执行任务吗？
名称节点可以执行任务吗？默认情况下，任务在集群的数据节点上执行。最佳答案假设您正在询问MapReduce ... 使用YARN，MapReduce任务在应用程序主数据库中执行，而不是在nameno
hadoop - Hadoop Pig技术按功能分组
我有一个关系A包含 (zip-code). 我还有另一个关系B包含 (name:gender:zip-code) (x:m:1234) (y:f:1234) (z:m:1245) (s:f:1235)
hadoop - Hadoop:排序和混排
我是hadoop地区的新手。您能帮我负责(k2,list[v2,v2,v2...])形式的输出(意味着将键及其所有关联值组合在一起)的责任是吗？谢谢。最佳答案这是Hadoop的MapReduce
hadoop - Hadoop Map程序以打印输入文件
因此，我一直在尝试编写一个hadoop程序，该程序将输入作为一个包含许多文件的文件，并且我希望hadoop程序的输出仅是输入文件的一行。但是我还没有做到这一点。我也不想去 reducer 课。如果有人
hadoop - Hadoop> Mapper类输入错误
我使用的输入文本文件的内容是 1 "Come 1 "Defects," 1 "I 1 "Information 1 "J" 2 "Plain 5 "Project 1
hadoop - hadoop grep命令
谁能告诉我以下grep命令的作用: $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 最佳答案 http:/
hadoop - hadoop map减少功能
我不了解mapreducer的基本功能，mapreducer是否有助于将文件放入HDFS 或mapreducer仅有助于分析HDFS中现有文件中的内容我对hadoop非常陌生，任何人都可以指导我理解
hadoop - Hadoop put和copyfromlocal之间的区别
CopyFromLocal将从本地文件系统上载数据。不要放会从任何文件上传数据，例如。本地FS，亚马逊S3 或仅来自本地fs ??? 最佳答案请找到两个命令的用法。 put ======= Usa
hadoop - hadoop mapreduce如何在云中内部工作？
我开始研究hadoop mapreduce。我是Java和hadoop的初学者，并且了解hadoop mapreduce的编码，但是有兴趣了解它在云中的内部工作方式。您能否分享一些很好的链接来说明
hadoop - hadoop mapreduce的类路径在哪里？
我一直在寻找Hadoop mapreduce类的类路径。我正在使用Hortonworks 2.2.4版沙箱。我需要这样的类路径来运行我的javac编译器: javac -cp (CLASS_PATH)

首页

博学

6Ren·AI

商城

Hadoop 2.x伪分布式环境搭建详细步骤