03、Hadoop 入门：为三台CentOS安装Hadoop集群-6ren

03、Hadoop 入门：为三台CentOS安装Hadoop集群

转载作者：大佬之路更新时间：2024-01-07 13:08:13

26

4

操作前说明

环境

机器名	IP	用户
node001	192.168.77.110	hadoop
node002	192.168.77.120	hadoop
node003	192.168.77.130	hadoop

要求
三台机器之间可通信、可免密登录
三台机器时间同步
三台机器Java环境已配置好
部署目标

服务器IP	node001	node002	node003
HDFS	NameNode
HDFS	SecondaryNameNode
HDFS	DataNode	DataNode	DataNode
YARS	ResourceManager
YARS	NodeManager	NodeManager	NodeManager
历史日志服务器	JobHistoryServer

获取压缩包

官网个人并不推荐（太慢了，各位还是在有资源的前辈们那里拿一下吧）

第一台机器

1. 传输到第一台机器

方法一： 使用终端管理软件传输
方法二： 使用ssh+scp远程传输
scp 被传输文件路径机器用户@机器ip:传输到机器的路径

2. 解压到指定目录

tar -xvf hadoop-3.2.2.tar -C /sjj/install/

因为我是.tar文件所以是-xvf
如果是.tar.gz文件需要是-zvxf

3. 查看解压是否到位

cd/sjj/install
ls

配置🌟🌟🌟🌟🌟（集群失败的很多原因的在这里

1. hadoop目录下操作

cd /sjj/install/hadoop-3.2.2
ls

可以删除share中的doc文件夹里面的东西并不重要

cd share/
ls
rm -rf doc/

执行checknative文件

cd /sjj/install/hadoop-3.2.2
bin/hadoop checknative

可以看见openssl为false，我们在线下载一个
注意三台机器都要安装
sudo yum -y install openssl-devel

2. 修改配置文件

第一台机器下执行

进入配置文件的文件夹
cd /sjj/install/hadoop-3.2.2/etc/hadoop/
修改Hadoop-env.sh

vim hadoop-env.sh
/JAVA_HOME进行搜索
找到以下配置添加，要是你自己的jdk版本
export JAVA_HOME=/sjj/install/jdk1.8.0_321

修改core-site.xml

vim core-site.xml
添加下面配置

<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node001:8020</value>
    </property>
    <!--运行文件存储目录-->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/sjj/install/hadoop-3.2.2/hadoopDatas/tempDatas</value>
    </property>
    <!--缓冲区大小，默认2048，实际动态调整 -->
    <property>
            <name>io.file.buffer.size</name>
            <value>2048</value>
    </property>
    <!--hdfs开启垃圾桶机制-->
    <property>
            <name>fs.trash.interval</name>
            <value>10080</value>
    </property>
</configuration>

修改hdfs-site.xml

vim hdfs-site.xml
添加以下配置

<configuration>
<!--集群动态上下线
<property>
    <name>dfs.hosts</name>
    <value>/sjj/install/hadoop-3.2.2/etc/hadoop/accept_host</value>
</property>
<property>
    <name>dfs.hosts.exclude</name>
    <value>/sjj/install/hadoop-3.2.2/etc/hadoop/deny_host</value>
</property>
-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node001:9868</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>node001:9870</value>
</property>
<!-- namenode保存fsimage的路径 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///sjj/install/hadoop-3.2.2/hadoopDatas/namenodeDatas</value>
</property>
<!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘挂载目录，然后多个目录用，进行分割 -->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///sjj/install/hadoop-3.2.2/hadoopDatas/datanodeDatas</value>
</property>
<!-- namenode保存editslog的目录 -->
<property>
    <name>dfs.namenode.edits.dir</name>
    <value>file:///sjj/insatll/hadoop-3.2.2/hadoopDatas/dfs/nn/edits</value>
</property>
<!-- secondarynamenode保存待合并的fsimage -->
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///sjj/install/hadoop-3.2.2/hadoopDatas/dfs/snn/name</value>
</property>
<!-- secondarynamenode保存待合并的editslog -->
<property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>file:///sjj/install/hadoop-3.2.2/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
</property>
</configuration>

修改mapred-site.xml

vim mapred-site.xml
t添加以下配置

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node001:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node001:19888</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>

修改yarn-site.xml

vim yarn-site.xml
添加以下配置

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node001</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

修改workers

vim workers
替换localhost为以下配置

node001
node002
node003

创建文件存放目录

node001上操作

mkdir -p /sjj/install/hadoop-3.2.2/hadoopDatas/tempDatas
mkdir -p /sjj/install/hadoop-3.2.2/hadoopDatas/namenodeDatas
mkdir -p /sjj/install/hadoop-3.2.2/hadoopDatas/datanodeDatas
mkdir -p /sjj/install/hadoop-3.2.2/hadoopDatas/dfs/nn/edits
mkdir -p /sjj/install/hadoop-3.2.2/hadoopDatas/dfs/snn/name
mkdir -p /sjj/install/hadoop-3.2.2/hadoopDatas/dfs/nn/snn/edits

安装包分发

cd /sjj/install

1. scp全量分发

scp -r hadoop-3.2.2/ node002:$PWD
scp -r hadoop-3.2.2/ node003:$PWD

2. 使用rsync等工具增量分发（这里不介绍

修改hadoop的环境变量

三台机器都要操作
sudo vim /etc/profile
末尾添加配置
export HADOOP_HOME=/sjj/install/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出，让配置生效
source /etc/profile

格式化集群

仅首次执行需要,node001执行一遍就行
hdfs namenode -format
或
hadoop namenode -format
日志中显示succssfully表示成功

集群启动

1. 启动HDFS、YARS、Historyserver

前提：配置了workers和ssh免密登录
在主节点node001执行命令

start-dfs.sh
start-yarn.sh
mapred --daemon start historyserver

停止集群

stop-dfs.sh
stop-yarn.sh
mapred --daemon stop historyserver

2. 单个进程逐个启动

hdfs --daemon start xxx
yarn --daemon start xxx
如果要停止satrt换成stop即可

验证

全部启动后输入jps查看是否启动
要求和部署目标一致

JobHistory

All Applications

最后

关闭顺序一定要是 hadoop集群->虚拟机->电脑

不然很容易出问题

26

4

0

文章推荐： 05、Hadoop 入门：了解hadoop

文章推荐： 04、Hadoop 入门：部署zookeeper

文章推荐： 02、Hadoop 入门：为三台CentOS7配置Java

文章推荐： 19、Hadoop 入门：HBase-Shell操作

hadoop - 到 hadoop 还是不到 hadoop
我们有数据(此时未分配)要转换/聚合/透视到 wazoo。我在 www 上看了看，我问的所有答案都指向 hadoop 可扩展、运行便宜(没有 SQL 服务器机器和许可证)、快速(如果你有足够的数据)
hadoop - 什么是 "Hadoop"- Hadoop 的定义？
这很明显，我们都同意我们可以将 HDFS + YARN + MapReduce 称为 Hadoop。但是，Hadoop 生态系统中的其他不同组合和其他产品会怎样？例如，HDFS + YARN + S
hadoop - es-hadoop(ElasticSearch-Hadoop)是如何做Hadoop的？
如果 es-hadoop 只是连接到 HDFS 的 Hadoop 连接器，它如何支持 Hadoop 分析？最佳答案我假设您指的是 this project .在这种情况下，ES Hadoop 项目
hadoop - Hadoop 中的 JoGL？用于图形的 Hadoop？
看完this和 this论文，我决定我想在 MapReduce 上为大型数据集实现分布式体积渲染设置作为我的本科论文工作。 Hadoop 是一个合理的选择吗？ Java 不会扼杀一些性能提升或使与 C
hadoop - 在命令行上通过 Hadoop 作业客户端提交 Hadoop 作业
我一直在尝试查找有关如何通过命令行提交 hadoop 作业的信息。我知道命令 - hadoop jar jar-file 主类输入输出还有另一个命令，我正在尝试查找有关它的信息，但未能找到 - h
hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器
Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put
hadoop - sudo hadoop 与 su hadoop
有没有人遇到奇怪的环境问题，在调用 hadoop 命令时被迫使用 SU 而不是 SUDO？ sudo su -c 'hadoop fs -ls /' hdfs Found 4 itemsdrwxr-x
hadoop - 以压缩文件作为输入运行 hadoop。 hadoop 读取的数据输入不按顺序。数字格式异常
在更改 mapred-site.xml 中的属性后，我给出了一个 tar.bz2 文件、.gz 和 tar.gz 文件作为输入。以上似乎都没有奏效。我假设这里发生的是 hadoop 作为输入读取的记录
hadoop - 使用 Hadoop 管道获取 Hadoop 映射器中的文件名
如何在 Hadoop Pipes 中获取正在 hadoop 映射器中执行的输入文件名称？我可以很容易地在基于 java 的 map reducer 中获取文件名，比如 FileSplit fil
hadoop - 流数据和 Hadoop？ (不是 Hadoop 流)
我想使用 MapReduce 方法分析连续的数据流(通过 HTTP 访问)，因此我一直在研究 Apache Hadoop。不幸的是，Hadoop 似乎期望以固定大小的输入文件开始作业，而不是能够在新数
hadoop - Hadoop-名称节点可以执行任务吗？
名称节点可以执行任务吗？默认情况下，任务在集群的数据节点上执行。最佳答案假设您正在询问MapReduce ... 使用YARN，MapReduce任务在应用程序主数据库中执行，而不是在nameno
hadoop - Hadoop Pig技术按功能分组
我有一个关系A包含 (zip-code). 我还有另一个关系B包含 (name:gender:zip-code) (x:m:1234) (y:f:1234) (z:m:1245) (s:f:1235)
hadoop - Hadoop:排序和混排
我是hadoop地区的新手。您能帮我负责(k2,list[v2,v2,v2...])形式的输出(意味着将键及其所有关联值组合在一起)的责任是吗？谢谢。最佳答案这是Hadoop的MapReduce
hadoop - Hadoop Map程序以打印输入文件
因此，我一直在尝试编写一个hadoop程序，该程序将输入作为一个包含许多文件的文件，并且我希望hadoop程序的输出仅是输入文件的一行。但是我还没有做到这一点。我也不想去 reducer 课。如果有人
hadoop - Hadoop> Mapper类输入错误
我使用的输入文本文件的内容是 1 "Come 1 "Defects," 1 "I 1 "Information 1 "J" 2 "Plain 5 "Project 1
hadoop - hadoop grep命令
谁能告诉我以下grep命令的作用: $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 最佳答案 http:/
hadoop - hadoop map减少功能
我不了解mapreducer的基本功能，mapreducer是否有助于将文件放入HDFS 或mapreducer仅有助于分析HDFS中现有文件中的内容我对hadoop非常陌生，任何人都可以指导我理解
hadoop - Hadoop put和copyfromlocal之间的区别
CopyFromLocal将从本地文件系统上载数据。不要放会从任何文件上传数据，例如。本地FS，亚马逊S3 或仅来自本地fs ??? 最佳答案请找到两个命令的用法。 put ======= Usa
hadoop - hadoop mapreduce如何在云中内部工作？
我开始研究hadoop mapreduce。我是Java和hadoop的初学者，并且了解hadoop mapreduce的编码，但是有兴趣了解它在云中的内部工作方式。您能否分享一些很好的链接来说明
hadoop - hadoop mapreduce的类路径在哪里？
我一直在寻找Hadoop mapreduce类的类路径。我正在使用Hortonworks 2.2.4版沙箱。我需要这样的类路径来运行我的javac编译器: javac -cp (CLASS_PATH)

首页

博学

6Ren·AI

商城