gpt4 book ai didi

java - 计算密集型的工作应该在哪里完成? Hadoop MapReduce 中的 Mapper 方法或 Reducer 方法

转载 作者:可可西里 更新时间:2023-11-01 16:26:05 26 4
gpt4 key购买 nike

我正在处理大型文本文件。 每条记录都是来自输入文本文件的一行,我正在这些记录中搜索某些关键字。
我想知道在 Hadoop MapReduce 中工作时,以下两种方法中的哪一种会更有效(时间复杂度):

  1. Mapperma​​p 函数中搜索
  2. Reducerreduce 函数中搜索

请帮忙!

最佳答案

两者都应该没问题,但是,根据您的输入,我会在 map 函数中尝试它,因为:

只有找到关键字,数据才会发送到组和归约阶段。如果与你的关键词匹配的数据较少,那么分组和归约的开销会显着降低。

关于java - 计算密集型的工作应该在哪里完成? Hadoop MapReduce 中的 Mapper 方法或 Reducer 方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27212722/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com