gpt4 book ai didi

hadoop - 如何使用多个映射器为多输入路径配置 oozie 工作流

转载 作者:可可西里 更新时间:2023-11-01 15:39:45 25 4
gpt4 key购买 nike

任何人都可以帮助我使用 Map-Reduce 操作配置工作流程,它采用多个输入路径,每个输入路径都与一个映射器相关联,就像 MultipleInputs.addInputPath api 采用输入路径和映射器一样。这些映射器的输出将提供给 reducer 。

我用 java Action 试过了,但它只会执行一个 map task 。但是这里的输入路径包含大量数据,所以在这种情况下不会使用 java 操作。

有什么办法可以处理这种情况吗?

问候,克里什。

最佳答案

在工作流程中,您可以在 mapred.input.dir 中提供逗号分隔的输入目录列表。这将使这些目录中的文件在不同的映射器上运行。

关于hadoop - 如何使用多个映射器为多输入路径配置 oozie 工作流,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18270454/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com