gpt4 book ai didi

hadoop 单机安装配置教程

转载 作者:qq735679552 更新时间:2022-09-28 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章hadoop 单机安装配置教程由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装,包括环境变量,主要Hadoop配置文件,SSH配置等。主要的区别在于配置文件:slaves配置需要修改,另外如果分布式安装中dfs.replication大于1,需要修改为1,因为只有1个datanode. 分布式安装请参考: http://acooly.iteye.com/blog/1179828 单机安装中,使用一台机器,即做namenode和JobTracker也是datanode和TaskTracker,当然也是SecondaryNameNode。 主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布树安装配置,如果分布式安装配置方案中hdfs-site.xml的副本数量定义大于1,则修改为1. 。

复制代码 代码如下

<property> <name>dfs.replication</name> <value>1</value> </property> 。

主要不同在于slaves的配置,分布式安装中是多个其他机器作为datanode,单机模式本机是datanode,所以修改slaves配置文件为本机的域名。如:本机机器名为hadoop11,则: [hadoop@hadoop11 ~]$ cat hadoop/conf/slaves hadoop11 完成配置后,启动:

复制代码 代码如下

$ start-all.sh $ jps 15556 Jps 15111 JobTracker 15258 TaskTracker 15014 SecondaryNameNode 14861 DataNode 14712 NameNode 。

运行DEMO $ echo word1 word2 word2 word3 word3 word3 > words $ cat words word1 word2 word2 word3 word3 word3 $ hadoop dfsadmin -safemode leave $ hadoop fs -copyFromLocal words /single/input/words $ hadoop fs -cat /single/input/words 12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000 word1 word2 word2 word3 word3 word3 $ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output ...... $ hadoop fs -ls /single/output ...... -rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS -rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000 $ hadoop fs -cat /single/output/part-r-00000 ...... word1 1 word2 2 word3 3 。

最后此篇关于hadoop 单机安装配置教程的文章就讲到这里了,如果你想了解更多关于hadoop 单机安装配置教程的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com