- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在运行安装了 Hadoop 1.1.2 的 Red Hat Enterprise Linux Server 6.4 (Santiago) 发行版。我已经进行了必要的配置以启用伪分布式模式。但是在尝试运行 hadoop 时,datanode 和 tasktracker 没有启动。
我无法将任何文件复制到 hdfs。
[hduser@is-joshbloom-hadoop hadoop]$ hadoop dfs -put README.txt /input
Warning: $HADOOP_HOME is deprecated.
13/05/23 16:42:00 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /input could only be replicated to 0 nodes, instead of 1
同样在尝试 hadoop-daemon.sh start datanode
之后,我收到消息:
starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-hduser-datanode-is-joshbloom-hadoop.out
tasktracker 也是如此。但是当我对 namenode、secondarynamenode、jobtracker 尝试相同的命令时,它们似乎正在运行。
namenode running as process 32933. Stop it first.
我尝试了以下解决方案:
似乎都没有用。我在我的 Mac 和 amazon ubuntu VM 上遵循了相同的安装步骤,并且运行良好。
如何让 hadoop 工作?谢谢!
*更新**
这是namenode的日志条目
2013-05-23 16:27:44,087 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host = java.net.UnknownHostException: is-joshbloom-hadoop: is-joshbloom-hadoop
STARTUP_MSG: args = []
STARTUP_MSG: version = 1.1.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782; compiled by 'hortonfo' on Thu Jan 31 02:03:24 UTC 2013
************************************************************/
2013-05-23 16:27:44,382 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2013-05-23 16:27:44,432 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2013-05-23 16:27:44,446 ERROR org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Error getting localhost name. Using 'localhost'...
java.net.UnknownHostException: is-joshbloom-hadoop: is-joshbloom-hadoop
at java.net.InetAddress.getLocalHost(InetAddress.java:1438)
at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.getHostname(MetricsSystemImpl.java:463)
at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.configureSystem(MetricsSystemImpl.java:394)
at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.configure(MetricsSystemImpl.java:390)
at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.start(MetricsSystemImpl.java:152)
at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.init(MetricsSystemImpl.java:133)
at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.init(DefaultMetricsSystem.java:40)
at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.initialize(DefaultMetricsSystem.java:50)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1589)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1608)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1734)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1751)
Caused by: java.net.UnknownHostException: is-joshbloom-hadoop
at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
at java.net.InetAddress$1.lookupAllHostAddr(InetAddress.java:866)
at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1258)
at java.net.InetAddress.getLocalHost(InetAddress.java:1434)
... 11 more
2013-05-23 16:27:44,453 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2013-05-23 16:27:44,453 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2013-05-23 16:27:44,768 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2013-05-23 16:27:44,914 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library
2013-05-23 16:27:45,212 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: is-joshbloom-hadoop: is-joshbloom-hadoop
at java.net.InetAddress.getLocalHost(InetAddress.java:1438)
at org.apache.hadoop.security.SecurityUtil.getLocalHostName(SecurityUtil.java:271)
at org.apache.hadoop.security.SecurityUtil.login(SecurityUtil.java:289)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:301)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1651)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1590)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1608)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1734)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1751)
Caused by: java.net.UnknownHostException: is-joshbloom-hadoop
at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
at java.net.InetAddress$1.lookupAllHostAddr(InetAddress.java:866)
at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1258)
at java.net.InetAddress.getLocalHost(InetAddress.java:1434)
... 8 more
2013-05-23 16:27:45,228 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at java.net.UnknownHostException: is-joshbloom-hadoop: is-joshbloom-hadoop
************************************************************/
*更新***
/etc/hosts
的内容
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
最佳答案
修改您的 /etc/hosts
以包含主机名环回映射:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.1.1 is-joshbloom-hadoop
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
您的问题是您的机器不知道如何将主机名 is-joshbloom-hadoop
解析为特定的 IP 地址。通常有两个地方/方法发生解析 - 通过 DNS 服务器或使用本地主机文件(主机文件优先)。
上述对主机文件的修改允许您的机器将机器名称 is-joshbloom-hadoop
解析为 IP 地址 127.0.1.1
。操作系统在 127.0.0.0/8
范围内有一个内部环回地址,因此您可以在此处命名任何地址。在我的 Ubuntu 笔记本电脑上,它使用 127.0.1.1
并且我确定它在操作系统之间会发生变化,但我的猜测是不使用 127.0.0.1
你没有如果您将来更改机器名称,请在 localhost 行中搜索它。
关于Hadoop 伪分布式模式 - Datanode 和 tasktracker 未启动,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16725804/
我在简单的两台机器hadoop集群中面临以下错误。 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException
我有Hadoop 2.7.1 e,它可以成功运行。接下来,我下载了apache-hive-2.1.1-bin,并编辑了“.bashrc”文件以更新用户的环境变量。现在,当我使用命令“* / sbin
我在将本地文件部署到 hdfs 时遇到问题,发现我应该为数据节点和名称节点设置“drwx------”。hdfs中datanode和namenode的初始权限状态。 drwx------ 3 hdus
在我的主节点中运行 Hive 查询时,我遇到了一些严重的问题。我有 3 个集群设置(1 个名称节点,2 个数据节点)。 版本: Hadoop:2.7.3 hive :2.1.0 Java:openjd
我是 apache hadoop 的新手。我正在安装多节点集群,但出现两个错误。我不知道这些是什么类型的错误以及它们产生的原因。我在谷歌上搜索了很多关于这些错误的信息,但我无法找出错误产生背后的原因。
我设置了一个运行良好的 HA Hadoop 集群。但是添加Kerberos认证后datanode无法连接namenode。 验证 Namenode 服务器成功启动并且没有记录错误。我用用户 'hdus
在启动计算机上设置的单节点集群时,启动数据节点时出现错误 ************************************************************/ 2013-0
我在我的namenode上收到以下日志并将其从执行中删除我的datanode 2013-02-08 03:25:54,345 WARN namenode.NameNode (NameNodeRpcS
我之前已经成功启动了datanode,但是当我今天尝试时,它显示了以下信息。听起来我还没有mkdir / home / hadoop / appdata / hadoopdata目录,但是我确认该目录
目前,我已经在我的 Ubuntu 系统中安装了 Hadoop。我开始了。以下是详细信息: krish@krish-VirtualBox:~$ start-dfs.sh 20 年 14 月 10 日 1
我收到连接拒绝错误即使我拥有正确的权限,我的名称节点和数据节点也无法启动。服务给出以下错误:(连接失败:[Errno 111]连接被拒绝到0.0.0.0:50010)。 最佳答案 可能是因为您没有配置
我正在构建一个 hadoop 集群。我有 3 个机架,每个机架包含几个虚拟机。如何配置hadoop让它有rack awareness?有人建议使用“topology.script.file.name”
这几天一直在尝试安装hadoop集群。有时成功,但大多数时候失败。我根据官方文档和一些貌似高质量的博客进行了配置。 我遇到的问题是:所有进程(包括namenode、datanode、nodemanag
当我使用伪节点配置时,所有守护进程都在启动,但任何时候我创建一个完全分布式模式的集群时,DataNode 守护进程都不会在任何节点上启动,包括主节点。 可能导致此行为的原因是什么? 最佳答案 确保 n
我正在尝试安装 hadoop 2.2.0,但在启动 dataenode 服务时出现以下错误,请帮助我解决此问题。在此先致谢。 2014-03-11 08:48:16,406 信息 org.apache
我正在尝试以伪分布式模式安装 Hadoop 2.2.0。当我尝试启动数据节点服务时显示以下错误,谁能告诉我如何解决这个问题? **2**014-03-11 08:48:15,916 INFO org.
在给出命令jps时: 它只显示 some _pid jps 没有显示别人喜欢的服务 Namenode Datanode ResourceManager etc 最佳答案 您是否已启动服务。如果服务
我已经使用HDFS API构建了一个存储系统。我现在正在对系统进行一些性能测试。我通过SIEGE创建了大量并发文件检索请求(例如:siege -c 500 -r 1 "http://bucket1.s
我们重新启动集群上的数据节点 我们在 ambari 集群中有 15 台数据节点机器而每台datanode机器有128G RAM 版本 -(HDP - 2.6.4 和 ambari 版本 2.6.1)
Hadoop/Datanode 目录下当前和以前的目录有什么意义? hadoop 如何使用它们? 我在本地文件系统的所有磁盘上的路径/hadoop/datanode 下有一个/current 目录。
我是一名优秀的程序员,十分优秀!