个人中心
gpt4 book ai didi

windows下安装部署hadoop

转载 作者：撒哈拉 更新时间：2024-10-13 18:22:49 59 4
gpt4 key购买 nike

  。

1、安装下载

1.首先在hadoop官网下载一个稳定版本，选择binary包 。

官网地址：https://hadoop.apache.org/releases.html 。

下载下来是tar.gz文件，用winrar解压即可.

2.因为这个压缩包是for linux系统的，win下还需要安装几个dll winutils,  。

下载地址：https://www.jianguoyun.com/p/Dcs2UoQQzuztCxiq89oFIAA 。

2、环境变量

1.在环境变量中配置好JAVA_HOME 。

2.将压缩包解压到 D:\\hadoop-3.3.6\ ，并在环境变量里将此路径添加到 HADOOP_HOME.

3.将 hadoop-3.3.6 目录下的 bin 文件夹添加到 PATH 变量中.

4.并把 winutils 压缩包解压后的 dll 文件拷贝复制到 hadoop 的 bin 目录下.

3、配置HADOOP

1.配置 hdfs-site.xml 。

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///D:/hadoop-3.3.6/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///D:/hadoop-3.3.6/data/datanode</value>
    </property>
</configuration>

2.配置 core-site.xml 。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
    
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/D:\\hadoop-3.3.6\data\tmp</value>
    </property>
</configuration>

3.配置 mapred-site.xml 。

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

4.配置 yarn-site.xml 。

<configuration>
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

  。

4、启动执行

1.执行 hdfs namenode -format 命令, 初始化数据目录 。

成功后会生成如下文件 。

  。

2.执行 start-dfs.cmd ， 启动 namenode 和 datanode 进程 。

 3.执行 start-yarn.cmd , 启动 resourcemanager 和 nodemanager进程 。

 5、WEB访问

1.启动成功后, 访问 localhost:8088，可以看到 hadoop 的管理页面 。

 2. 访问 localhost:9870, 查看 namenode 节点的管理信息 。

  。

最后此篇关于windows下安装部署hadoop的文章就讲到这里了,如果你想了解更多关于windows下安装部署hadoop的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

59 4 0
文章推荐： SpringBoot进阶教程(八十一)SpringSecurity自定义认证
文章推荐： 分享几个实用且高效的EFCore扩展类库，提高开发效率！
文章推荐： 浅谈K-DTree及其进阶应用
文章推荐： Android车载应用开发指南-CANBus协议详解
撒哈拉
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com