Hadoop:如何将 MultipleOutputs 发送到 2 个不同的路径/文件系统？

Question

我已将 MultipleOutputs 配置为生成 2 个命名输出。我想发送一个到 s3n:// 和一个到 hdfs://

这可能吗？

Answer 1

目前可用的 API 无法做到这一点。

MultipleOutputs 类，如果 Hadoop MapReduce 当前仅适用于(配置的输出目录的)子目录输出名称，它可以处理 side-effects caused by speculative execution .

但是，您可以重新实现该类(或从它派生)，以支持它，因为它并非不可能实现。如果您计划让您的实现支持推测执行，您可能还需要更复杂的 OutputCommitter 实现。