java - Hadoop Docker设置-WordCount教程

Question

我正在按照本教程来运行here中提到的WordCount.java，并且在本教程中运行以下行时

hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

我收到以下错误-

17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我使用的docker镜像是 docker pull cloudera/quickstart
没有针对Docker的Hadoop设置教程，因此如果您能告诉我为克服这些问题而进行的配置，这将对您有所帮助。

Answer 1

该教程假定您位于具有可用Hadoop客户端命令的集群中，并且已启动Hadoop Services并进行了正确配置。
0.0.0.0:8032是the default YARN resource manager，因此您需要配置HADOOP_CONF_DIR XML文件(此错误特别是yarn-site)指向Docker容器以获取YARN的正确地址。 core和hdfs-site也需要配置为指向HDFS。