gpt4 book ai didi

hadoop - 如何标记来自不同目录的特定输入文件

转载 作者:可可西里 更新时间:2023-11-01 16:34:26 25 4
gpt4 key购买 nike

我正在读取两组目录(比如说 dirA 和 dirt)作为我的 MapReduce 作业的输入,我需要以某种方式对它们进行不同的标记,以便在映射阶段我知道哪个来自哪个。有什么建议吗?

最佳答案

您可以使用 MultipleInputs 进行调查并为每个输入路径定义不同的映射器,或检查输入拆分(Context.getInputSplit() - 将其转换为 FileSplit 并获取路径)并相应地调整输出。

关于hadoop - 如何标记来自不同目录的特定输入文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11477798/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com