Hadoop DistributedCache 无法报告状态

Question

在 Hadoop 作业中，我正在映射多个 XML 文件并为每个元素过滤 ID (from < id>-tags) .因为我想将作业限制在一组特定的 ID 中，所以我读入了一个大文件(2.7 GB 中大约有 2.5 亿行，每行只有一个整数作为 ID)。所以我使用了DistributedCache，解析setup()中的文件带有 BufferedReader 的 Mapper 方法，并将 ID 保存到 HashSet。

现在一开始工作，我得到了无数

Task attempt_201201112322_0110_m_000000_1 failed to report status. Killing!

在执行任何 map 作业之前。

该集群由 40 个节点组成，并且自 DistributedCache 的文件以来在执行作业的任何任务之前被复制到从属节点，我假设失败是由大 HashSet 引起的.我已经增加了mapred.task.timeout到 2000 年代。当然我可以再增加时间，但实际上这个时间应该足够了，不是吗？

自 DistributedCache's曾经是一种“有效地分发大型只读文件”的方法，我想知道是什么原因导致这里失败，是否有另一种方法将相关 ID 传递给每个映射作业？

Answer 1

您能否在设置方法中添加一些调试 printlns 以检查此方法是否超时(记录进入和退出时间)？

您可能还想研究使用 BloomFilter 来保存 ID。您可以将这些值存储在一个 50MB 的布隆过滤器中，误报率很高 (~0.5%)，然后运行辅助作业来执行对实际引用文件进行分区检查。