gpt4 book ai didi

hadoop - 直接指定 Hadoop mapreduce 输入键(不是从文件)

转载 作者:可可西里 更新时间:2023-11-01 14:50:49 25 4
gpt4 key购买 nike

我想使用 mapreduce 生成一些数据。我想用一个参数 N 调用作业,并用从 1 到 N 的每个整数调用一次 Map。

显然我想要一个 Mapper<IntWritable, NullWritable, <my output types>> ...这很简单。但我不知道如何生成输入数据!有没有InputFormat我没有看到可以让我直接从集合中提取键 + 值的地方?

最佳答案

是否希望每个映射器处理从 1 到 N 的所有整数?或者您想在并发运行的映射器之间分配整数 1 到 N 的处理?

如果是前者,我相信您需要创建自定义 InputFormat。如果是后者,最简单的方法可能是生成一个包含 1 到 N 整数的文本文件,每个整数占一行,然后使用 LineInputFormat。

关于hadoop - 直接指定 Hadoop mapreduce 输入键(不是从文件),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4309625/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com