java - Hadoop节点无效

Question

我有1个主节点和1个从属节点设置。

我的问题是运行 map 时减少处理。从节点似乎没有工作。任何人都可以提供有关如何检查，更改和确保从站正常工作的帮助？

配置文件信息也可以在下面的URL上找到
https://drive.google.com/file/d/1ULEe6k2zYnfQDQUQIbz_xR29WgT1DJhB/view

这是我的观察

1)当我检查CPU资源利用率时，从设备似乎不工作，运行映射时CPU资源为0％会减少作业，而主服务器则为44％CPU资源。请参阅附件。

2)当我运行dfs报告时，它显示它有2个 Activity 节点，但在群集Web上，它仅显示1。请参阅附件和下面的内容。

3)无论有没有从机，映射减少的总处理时间是相同的

-------------------------------------------------
Live datanodes (2):

Name: 192.168.249.128:9866 (node-master)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 174785723 (166.69 MB)
Non DFS Used: 60308293 (57.51 MB)
DFS Remaining: 20352647168 (18.95 GB)
DFS Used%: 0.85%
DFS Remaining%: 98.86%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:39 PDT 2018
Last Block Report: Tue Oct 23 11:07:32 PDT 2018
Num of Blocks: 93


Name: 192.168.249.129:9866 (node1)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 85743 (83.73 KB)
Non DFS Used: 33775889 (32.21 MB)
DFS Remaining: 20553879552 (19.14 GB)
DFS Used%: 0.00%
DFS Remaining%: 99.84%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:38 PDT 2018
Last Block Report: Tue Oct 23 11:03:59 PDT 2018
Num of Blocks: 4

Answer 1

您显示的是带有dfsreport的数据节点，而不是实际正在处理数据的节点管理器。在YARN UI中，您需要记下“ Activity 节点”计数器，在您的情况下为 1 。如果主服务器是名称节点和资源管理器，而从服务器是数据节点和节点管理器，那将很有意义。

除此之外，如果您有一个不可拆分的文件(例如ZIP)，或者您的文件小于块大小(默认为128 MB)，则只有一个映射器将处理该文件。另外，不能保证将映射器(或化简器)平均分配到所有可用资源上

不过，在学习环境之外，最好将40 GB的存储空间和8 GB的RAM用于多线程而不是分布式计算(或适当的数据库；即解析文件并将其加载到可查询的存储中)。或使用Spark或Pig，它们不需要Hadoop，但比MapReduce易于使用