gpt4 book ai didi

Hadoop:如何将 MultipleOutputs 发送到 2 个不同的路径/文件系统?

转载 作者:可可西里 更新时间:2023-11-01 16:18:52 24 4
gpt4 key购买 nike

我已将 MultipleOutputs 配置为生成 2 个命名输出。我想发送一个到 s3n:// 和一个到 hdfs://

这可能吗?

最佳答案

目前可用的 API 无法做到这一点。

MultipleOutputs 类,如果 Hadoop MapReduce 当前仅适用于(配置的输出目录的)子目录输出名称,它可以处理 side-effects caused by speculative execution .

但是,您可以重新实现该类(或从它派生),以支持它,因为它并非不可能实现。如果您计划让您的实现支持推测执行,您可能还需要更复杂的 OutputCommitter 实现。

关于Hadoop:如何将 MultipleOutputs 发送到 2 个不同的路径/文件系统?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13066219/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com