Ubuntu 上的 Hadoop 多节点集群安装问题 - 故障排除

Question

我有三台 Ubuntu 12.04 LTS 计算机，我想在主/从配置中安装 Hadoop，如 here 所述.它说首先将 Hadoop 安装为单节点，然后继续安装多节点。单节点安装工作得很好。我对/etc/hosts 文件进行了必要的更改，并按照指南所说的那样配置了所有内容，但是当我在主服务器上启动 Hadoop 集群时，出现错误。

我的电脑，恰本地命名为铁人、超人和 bat 侠，其中 bat 侠(还有谁？)是主节点。当我做 sudo bin/start-dfs.sh ，出现以下情况。



当我输入密码时，我得到这个:



当我尝试 sudo bin/start-all.sh ，我明白了:



我可以通过 ssh 进入不同的终端，但有些地方不太对劲。我检查了超人/奴隶终端上的日志，它说它无法连接到 batman:54310 和一些 zzz 消息。我认为我的/etc/hosts 是错误的，但事实上，它是:



我尝试通过更改 iptables 打开端口 54310，但此处显示的输出屏幕是在我进行更改之后。我无计可施。请告诉我哪里出错了。如果您需要更多信息，请告诉我，我会相应地更新问题。谢谢!

更新:这是我的conf文件。

核心站点.xml 请注意，我放的是 batman:54310 而不是 IP 地址。我只是更改了它，因为我认为我会使绑定(bind)更加明确。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://130.65.153.195:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>130.65.153.195:54311</value>
<description>The host and port that the MapReduce job tracker runs
at.  If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>

</configuration>

我的 session /大师 文件只是 batman和我的 conf/奴隶 文件只是:

batman
superman
ironman

希望这可以澄清事情。

Answer 1

首先要做的事情:确保您可以从从属设备和从属设备对主设备执行 ping 操作。分别登录到每台机器并 ping 其他 2 台主机。确保可以通过其主机名访问它们。您可能没有在从属服务器中添加/etc/hosts 条目。

其次，您需要设置无密码 SSH 访问。您可以使用 ssh-keygen -t rsa和 ssh-copy-id为了这。这将有助于删除密码提示。最好为此创建一个单独的用户(而不是使用 root)。

如果这没有帮助，请发布您的日志输出。