gpt4 book ai didi

java - Hadoop 作业制定,将 ArrayList 传递给 Mapper()

转载 作者:可可西里 更新时间:2023-11-01 16:28:47 24 4
gpt4 key购买 nike

尝试制定一个不同于普通字数统计示例的 Hadoop 作业。我的输入数据是以下形式:

makePush,1964
makePush,459
makePush,357
opAdd,2151
opAdd,257
opStop,135

我想将它们传递给 Mapper(),然后传递给 Reducer() 函数,但我在规范方面遇到了问题,即

Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

那么,例如,opAdd 将是一个 KEYIN,而 257 将是一个 VALUEIN。随后,所有 opAdd 的总和将是一个 KEYOUT,相关数字的总和将是 VALUEOUT,这很合理,不是吗?

但是,如何以编程方式实现呢?在我看来,它在理论上与字数统计示例并没有太大不同。

最佳答案

for example, opAdd would be a KEYIN, and 257 would be a VALUEIN

不,Key 将是一个 LongWritable,它是文件中的偏移标记,用于指定当前 map 任务正在读取文件的位置。

Value 是 Text,它是 opAdd,257 的整行,您可以用 toString().split(",") 来分隔数据

关于java - Hadoop 作业制定,将 ArrayList<String> 传递给 Mapper(),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46488701/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com