java - Hadoop - 资源是

Question

我正在尝试在 AWS 上设置的集群上运行 wordcount 示例。它挂起，只是说正在运行作业。

我在资源管理器日志中发现了这个错误

我可以通过 HDFS UI (namenode:50070) 查看我的所有节点。

但是，当我尝试通过 namenode:8088/cluster/nodes 查看有关集群的更多信息时，它说有 0 个节点？

有什么想法吗？我试过编辑 yarn-site.xml 以指定最小/最大内存和内核，但它没有用。

** 编辑这里是 NodeManager 日志文件的错误

2018-02-08 19:28:41,110 信息 org.apache.hadoop.http.HttpServer2:Jetty 绑定(bind)到端口 8042
2018-02-08 19:28:41,111 信息 org.mortbay.log: jetty-6.1.26
2018-02-08 19:28:41,246 信息 org.mortbay.log:提取 jar:文件:/usr/local/hadoop/share/hadoop/yarn/hadoop-yarn-common-2.9.0.jar!/webapps/节点到/tmp/Jetty_0_0_0_0_8042_node____19tj0x/webapp
2018-02-08 19:28:42,777 信息 org.mortbay.log:已启动 HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:8042
2018-02-08 19:28:42,777 信息 org.apache.hadoop.yarn.webapp.WebApps:Web 应用程序节点开始于 8042
2018-02-08 19:28:42,783 信息 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:分配的节点 ID 为:ec2-34-227-117-73.compute-1.amazonaws.com:39885
2018-02-08 19:28:42,797 信息 org.apache.hadoop.yarn.client.RMProxy:在/0.0.0.0:8031 连接到 ResourceManager
2018-02-08 19:28:42,798 信息 org.apache.hadoop.util.JvmPauseMonitor:启动 JVM 暂停监视器
2018-02-08 19:28:42,861 信息 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:发送 0 NM 容器状态:[]
2018-02-08 19:28:42,866 信息 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:使用容器向 RM 注册:[]
2018-02-08 19:28:43,935 信息 org.apache.hadoop.ipc.Client:重试连接到服务器:0.0.0.0/0.0.0.0:8031。已尝试 0 次；重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2018-02-08 19:28:44,936 信息 org.apache.hadoop.ipc.Client:重试连接到服务器:0.0.0.0/0.0.0.0:8031。已经尝试过 1 次；重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2018-02-08 19:28:45,937 信息 org.apache.hadoop.ipc.Client:重试连接到服务器:0.0.0.0/0.0.0.0:8031。已经尝试过 2 次；重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2018-02-08 19:28:46,937 信息 org.apache.hadoop.ipc.Client:重试连接到服务器:0.0.0.0/0.0.0.0:8031。已尝试 3 次；重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2018-02-08 19:28:47,938 信息 org.apache.hadoop.ipc.Client:重试连接到服务器:0.0.0.0/0.0.0.0:8031。已尝试 4 次；重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2018-02-08 19:28:48,939 信息 org.apache.hadoop.ipc.Client:重试连接到服务器:0.0.0.0/0.0.0.0:8031。已尝试 5 次；重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

Answer 1

您在理解 Hadoop 时犯了一个常见错误。 Hadoop 由文件系统 (HDFS) 和计算引擎 (YARN) 组成。数据节点仅显示 HDFS 功能。要运行作业，您需要资源管理器，还需要节点管理器来提供计算能力。

您的资源管理器屏幕截图证实了这一点。您没有运行节点管理器，因此您没有 vcores 或内存可用于计算。