java - 为什么hadoop 1.0.3中的reducer非常慢

Question

我在Java-Oracle 7中使用hadoop 1.0.3-
当我在接近1.5GB大小的大数据中运行字计数代码时，仅在复制步骤中需要很长时间才能将其减少到10小时或更长时间。
具有16个节点的系统；每个节点一个节点和15个从节点具有:
群集摘要如下:

Configured Capacity: 2.17TB
DFS Used: 4.23GB
Non DFS USed:193.74GB
DFS Remaining: 1.98TB
DFS Used%: .19%
DFS Remaining%: 91.09%
Live Nodes: 16
Dead Nodes: 0
Decomissioned Nodes: 0
Number of Under Replicated Blocks: 0

the reducer output

我尝试使用29个映射器和1个 reducer ，16个 reducer ，35个 reducer ，56个 reducer ...问题是相同的，并且错误出现“获取失败者过多”

Answer 1

正在使用多少个映射器和缩减器？
看起来您使用的 reducer 数量很少。
在 reducer 数量较少的情况下，您会发现性能不佳。
您需要根据上下文和可用工作节点的数量来配置映射器和化简器。