gpt4 book ai didi

hadoop - 什么决定了 map() 将被调用多少次?

转载 作者:可可西里 更新时间:2023-11-01 15:13:55 26 4
gpt4 key购买 nike

我有一个文本文件和一个解析器,它将解析每一行并存储到我的 customSplitInput 中,我在自定义 FileInputFormat 阶段进行解析,因此我的拆分是自定义的。现在,我有 2 个拆分,每个拆分中包含我的数据列表。

但现在,我的映射器函数在同一拆分上被重复调用。我认为映射器函数只会根据您拥有的拆分数调用?

我不知道这是否适用,但我的自定义 InputSplit 为 getLength() 返回一个固定数字,为 getLocation() 返回一个空字符串数组。我不确定要为这些添加什么。

@Override
public RecordReader<LongWritable, ArrayWritable> createRecordReader(
InputSplit input, TaskAttemptContext taskContext)
throws IOException, InterruptedException {
logger.info(">>> Creating Record Reader");
CustomRecordReader recordReader = new CustomRecordReader(
(EntryInputSplit) input);
return recordReader;
}

最佳答案

map() 为您的 InputFormat 中(或被其引用)的 RecordReader 中的每条记录调用一次。例如,TextInputFormat 为输入中的每一行调用 map(),即使拆分中通常有很多行也是如此。

关于hadoop - 什么决定了 map() 将被调用多少次?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29111653/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com