Hadoop集群有一些磁盘空间不足的节点~

Question

我现在拥有一个有 12 个节点的集群。其中一些，特别是 8 个节点，有足够的磁盘空间。但是其他 4 个只有很小的空间可以使用。

但是，其他 4 个节点的 RAM 和 CPU 配置仍然很高。所以我的意图是利用这些资源。但是现在，当我运行一个算法 SlopeOne 时， map 将输出如此多的中间数据并将它们存储在磁盘上。因此存在一些错误，我将其粘贴在此说明下。

我想知道:

1. 如果一个节点发现它不能在本地存储数据，它会尝试将数据存储到其他有足够磁盘空间的节点吗？
2. 如果单个节点在本地存储数据失败，是否会重新开始工作？
3. 如果一些有足够磁盘空间的节点先完成一个映射作业，它会继续运行分配给低磁盘空间节点的作业吗？
4. 我知道我可以设置一个参数，它可以限制本地空间的使用，如果一个节点超过了这个限制，jobtracker 就不会给那个节点更多的工作。但是这种方法是否只会让节点停留在那里而不工作？
5. 关于我可以利用这些资源并避免错误的任何建议？

感谢任何想法。

java.io.IOException: Spill failed
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:860)
    at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:466)
    at slopeone.SlopeOneTrainer$SlopeOneTrainMapper.map(SlopeOneTrainer.java:71)
    at slopeone.SlopeOneTrainer$SlopeOneTrainMapper.map(SlopeOneTrainer.java:1)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
    at org.apache.hadoop.mapred.Child.main(Child.java:170)
Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for taskTracker/jobcache/job_201104070658_0006/attempt_201104070658_0006_m_000000_0/output/spill897.out
    at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:343)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:124)
    at org.apache.hadoop.mapred.MapOutputFile.getSpillFileForWrite(MapOutputFile.java:107)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1221)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.access$1800(MapTask.java:686)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer$SpillThread.run(MapTask.java:1173)

Answer 1

您可以尝试减少复制次数，如本问题 HDFS Reduced Replication Factor 中所回答默认复制因子为3