hadoop - MapReduce 程序中 DistributedCache 的替代方案是什么？

Question

当您需要将您的 mapper/reducer 经常使用的少量数据放入 distributedCache 时，DistributedCache 似乎会派上用场。但在某些情况下，您想要放入映射器的数据会非常大，比如超过 300 MB。在这种情况下你会怎么做？在这种情况下，分布式缓存的替代方案是什么？

Answer 1

1. 分布式缓存默认是几千兆字节，所以 300MB 不一定是问题。 (您可以在 mapred-site.xml 中调整大小。)如果您的作业经常运行并且缓存中几乎没有其他改动，那么为节点获取 300MB 仍然是值得的。

2. 另一种选择是将您的文件放在 HDFS 上，让任务从那里读取它们。您可以使用 org.apache.hadoop.fs.FileSystem API 来执行此操作。

要选择最好的，您可能应该两种方式都尝试一下，看看哪个能给您带来更好的 I/O 和运行时间(包括对其他作业的影响)。这可能取决于您的作业运行频率、缓存中还有多少其他内容、map/reduce 比率等。