作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我对 Hadoop yarn 2.7.1 中的平均合并时间有疑问
我在具有 7 个节点的集群上运行了一个 wordcount 示例,其中包含一个 txt 文件 (1.5GB)
正如您在下图中看到的那样,一个作业有 12 个 map 任务和一个 reduce 任务什么平均合并时间为零?这是否意味着 12 个 map 输出的排序或合并为零?
screenshot
请指导我
最佳答案
没有,
平均合并时间为 avg(sortFinishTime-shuffleFinishTime)
Reducer 在 shuffle 期间接收来自多个映射器的输入。收到输入后,这些输入将附加到 reducer(本地)的单个文件中并进行排序。排序后,reduce 阶段开始。
平均合并时间是洗牌阶段之后和减少阶段开始之前所用时间的平均值。
关于hadoop - 为什么 Hadoop yarn(2.7.1) 中的平均合并时间为零?以及如何获得这个时间的精确度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33712775/
如何处理机器学习中偏斜的数据集 用偏斜的数据集开发有效的机器学习算法可能很棘手。例如,数据集涉及银行中的欺诈活动或癌症检测。发生的情况是,您将在数据集中看到99%的时间没有欺诈活动或没有癌症。您可
我是一名优秀的程序员,十分优秀!