gpt4 book ai didi

java - 分层 MapReduce

转载 作者:可可西里 更新时间:2023-11-01 15:06:59 28 4
gpt4 key购买 nike

我想知道是否可以定义一个分层 MapReduce 作业?。换句话说,我想要一个 map-reduce 作业,在 mapper 阶段将调用不同的 MapReduce 作业。可能吗?您对如何操作有什么建议吗?

我想这样做是为了在我的程序中有更高级别的并行/分布。谢谢,阿里克。

最佳答案

Hadoop definitive guide book包含许多与 MapReduce 作业链相关的食谱,包括示例代码和详细说明。特别是名为“高级 API 用法”或类似内容的章节。

我个人成功地用几个 HBase 表替换了复杂的 map-reduce 作业,这些表用作带有手工制作的 TableInputFormat 扩展的源。结果是结合了源数据的输入格式,减少最少,因此作业被转换为单个映射器步骤。所以我建议你也往这个方向看。

关于java - 分层 MapReduce,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17018548/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com