hadoop - Hadoop DataNode不会使用远程IPC服务器地址

Question

为了实现“快速”的概念验证，我想通过连接两个虚拟机来建立一个微型Hadoop 0.18集群，我在Yahoo上将其配置为伪分布式模式。

在hadoop-vm-1上，我在该计算机上启动了一个具有主节点，从属DataNode和TaskTracker的完整集群。
然后，我将第二个虚拟机作为hadoop-vm-2并希望它托管第二个DataNode和TaskTracker，它们将连接到hadoop-vm-1并添加到此集群中。

不幸的是，我无法启动第二个DataNode，因为它想连接到本地IPC服务器。这是我希望它连接到hadoop-vm-1的地方。日志内容如下:

2013-02-07 19:55:29,954 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.17.135:9000. Already tried 9 time(s).
2013-02-07 19:55:29,958 ERROR org.apache.hadoop.dfs.DataNode: java.io.IOException: Call failed on local exception
..
Caused by: java.net.ConnectException: Connection refused

应该使用hadoop-vm-1的192.168.17.134代替IP 192.168.17.135(hadoop-vm-2)。

我认为我正确配置了从属服务器的hadoop-site.xxml:

<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop-vm-1/</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

<property>
  <name>mapred.job.tracker</name>
  <value>hadoop-vm-1:9001</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

</configuration>

当然，我配置了hosts文件:

127.0.0.1   localhost
127.0.1.1   hadoop-vm-2.localdomain hadoop-vm-2
192.168.17.134 hadoop-vm-1

有任何想法吗？提前致谢 :-)

Answer 1

/ etc / hosts文件的内容应类似于

127.0.0.1   localhost
#127.0.1.1  hadoop-vm-1
192.168.0.101 hadoop-vm-1
192.168.0.100 hadoop-vm-2

检查此 blog及其注释以获取更多详细信息。同样，在伪分布式模式下，所有守护程序都将在其自己的JVM中和单个节点上运行。对于1个以上的节点，它是完全分布式模式。有关不同模式 here的更多信息。

此外，有多种设置Hadoop集群的方法。

1)从Apache下载所有相关框架并手动设置它们。这里( 1， 2)是一些不错的教程。这种方法需要一些努力，但是有很多东西要学。

2)使用 Cloudera Manager自动化Hadoop和其他相关框架(如Hive，HBase，ZooKeeper等)的安装过程。还有其他两家公司提供HortonWorks的 HDP等自动安装。大多数事情都是自动化的，并隐藏在UI的后面。