gpt4 book ai didi

hadoop - 没有reduce功能的Mapreduce

转载 作者:行者123 更新时间:2023-12-02 21:49:38 25 4
gpt4 key购买 nike

我有一个数据文件,我的任务是使用map reduce从文件的每一行创建一个新数据,因为文件中的数据很大。
例如:文件包含:表达式(3 -4 * 7-4),我需要根据该表达式(3 + 4/7 * 4)随机创建一个新表达式。当我使用map reduce实现任务时,我使用map进行更改,并减少为仅从mapper接收数据并对它们进行排序是否仅使用map执行主要任务是否正确?

最佳答案

如果您不需要对 map 结果进行排序-您可以将0减少为(

job.setNumReduceTasks(0);

在您的驱动程序代码中)
该工作仅称为 map 。

关于hadoop - 没有reduce功能的Mapreduce,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22186089/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com