gpt4 book ai didi

hadoop - map 减少概念

转载 作者:行者123 更新时间:2023-12-02 20:41:40 26 4
gpt4 key购买 nike

哪种类型的输入和输出进行映射并减少
使用MapReduce?两个功能的输入和输出如何连接?

MapReduce中的map函数的输入是一个文档

MapReduce中map函数的输出是一个tuple(word,1)序列

MapReduce中reduce函数的输入是一个键和该键所有值的列表

MapReduce中reduce函数的输出是一个元组序列(单词,出现次数)

这是正确的吗?合并的功能如何?

最佳答案

输入和输出通过串行连接。

默认输入是TextInputFormat,它使用LineRecordReader,但是这两个属性都可以被覆盖

在下面,所有内容都只是字节,而MapReduce中的Writable对象(Text,IntWritable等)只是byte[]上的薄层

Reducer输入是映射器的联合输出,按键,是。输出是键值对或元组。但是,两个值都可以是复杂的对象,因此您输出的不仅仅是两个字段。组合器只是另一种类型的 reducer 。

关于hadoop - map 减少概念,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49573770/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com