个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章shuffle的关键阶段sort(Map端和Reduce端)源码分析由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
源码中有这样一段代码 。
1. map端排序获取的比较器 。
|
1
2
3
4
5
6
7
8
9
10
11
12
|
public
rawcomparator getoutputkeycomparator() {
// 获取mapreduce.job.output.key.comparator.class，必须是rawcomparator类型，如果没设置，是null
class
<?
extends
rawcomparator> theclass = getclass(
jobcontext.key_comparator,
null
, rawcomparator.
class
);
// 如果用户自定义了这个参数，那么实例化用户自定义的比较器
if
(theclass !=
null
)
return
reflectionutils.newinstance(theclass,
this
);
// 默认情况，用户是没用自定义这个参数
// 判断map输出的key，是否是writablecomparable的子类
// 如果是，调用当前类的内部的comparator!
return
writablecomparator.get(getmapoutputkeyclass().assubclass(writablecomparable.
class
),
this
);
}
|
总结： 如何对感兴趣的数据进行排序?
① 数据必须作为key 。
② 排序是框架自动排序，我们提供基于key的比较器，也就是comparator，必须是rawcomparator类型 。
a) 自定义类，实现rawcomparator，重写compare() 。
指定mapreduce.job.output.key.comparator.class为自定义的比较器类型 。
b）key实现writablecomparable(推荐) 。
③ 实质都是调用相关的comparato()方法，进行比较 。
2. reduce端进行分组的比较器 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
rawcomparator comparator = job.getoutputvaluegroupingcomparator();
// 获取mapreduce.job.output.group.comparator.class，必须是rawcomparator类型
// 如果没用设置，直接获取maptask排序使用的比较器
// 也是比较key
public
rawcomparator getoutputvaluegroupingcomparator() {
class
<?
extends
rawcomparator> theclass = getclass(
jobcontext.group_comparator_class,
null
, rawcomparator.
class
);
if
(theclass ==
null
) {
return
getoutputkeycomparator();
}
// 如果设置了，就使用设置的比较器
return
reflectionutils.newinstance(theclass,
this
);
}
|
总结 。
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我的支持。如果你想了解更多相关内容请查看下面相关链接 。
原文链接：https://blog.csdn.net/qq_43193797/article/details/86019761 。
最后此篇关于shuffle的关键阶段sort(Map端和Reduce端)源码分析的文章就讲到这里了,如果你想了解更多关于shuffle的关键阶段sort(Map端和Reduce端)源码分析的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我刚刚继承了一个旧的 PostgreSQL 安装，需要进行一些诊断以找出该数据库运行缓慢的原因。在 MS SQL 上，您可以使用 Profiler 等工具来查看正在运行的查询，然后查看它们的执行计划。
将目标从Analytics（分析）导入到AdWords中，然后在Analytics（分析）中更改目标条件时，是否可以通过更改将目标“重新导入”到AdWords，还是可以自动选择？ 最佳答案 更改目标值
我正在使用google analytics api来获取数据。我正在获取数据，但我想验证两个参数，它们在特定日期范围内始终为0。我正在获取['ga:transactions']和['ga:goalCo
我使用Google API从Google Analytics（分析）获取数据，但指标与Google Analytics（分析）的网络界面不同。 即：我在2015年3月1日获得数据-它返回综合浏览量79
我在我的Web应用程序中使用sammy.js进行剔除。我正在尝试向其中添加Google Analytics（分析）。我很快找到了following plugin来实现页面跟踪。 我按照步骤操作，页面如
当使用 Xcode 分析 (product>analyze) 时，有没有办法忽略给定文件中的任何错误？ 例如编译指示之类的？ 我们只想忽略第三方代码的任何警告，这样当我们的代码出现问题时，它对我们
目录 EFK 1. 日志系统 2. 部署ElasticSearch 2.1 创建handless服务 2.2 创建s
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve thi
GCC/G++ 是否有可用于输出分析的选项？ 能够比较以前的代码与新代码之间的差异(大小、类/结构的大小)将很有用。然后可以将它们与之前的输出进行比较以进行比较，这对于许多目的都是有用的。 如果没有此
我正在浏览 LYAH，并一直在研究处理列表时列表理解与映射/过滤器的使用。我已经分析了以下两个函数，并包含了教授的输出。如果我正确地阅读了教授的内容，我会说 FiltB 的运行速度比 FiltA 慢很
在 MySQL 中可以使用 SET profiling = 1; 设置分析 查询 SHOW PROFILES; 显示每个查询所用的时间。我想知道这个时间是只包括服务器的执行时间还是还包括将结果发送到前
我用 Python 编写了几个用于生成阶乘的模块，我想测试运行时间。我找到了一个分析示例 here我使用该模板来分析我的模块: import profile #fact def main():
前几天读了下mysqld_safe脚本，个人感觉还是收获蛮大的，其中细致的交代了MySQL数据库的启动流程，包括查找MySQL相关目录，解析配置文件以及最后如何调用mysqld程序来启动实例等，有着
1 内网基础 内网/局域网（Local Area Network，LAN），是指在某一区域内有多台计算机互联而成的计算机组，组网范围通常在数千米以内。在局域网中，可以实现文件管理、应用软件共享、打印机
1 内网基础 内网/局域网（Local Area Network，LAN），是指在某一区域内有多台计算机互联而成的计算机组，组网范围通常在数千米以内。在局域网中，可以实现文件管理、应用软件共享、打印机
我有四列形式的数据。前三列代表时间，value1，value 2。第四列是二进制，全为 0 或 1。当第四列中对应的二进制值为0时，有没有办法告诉excel删除时间、值1和值2？我知道这在 C++ 或
我正在运行一个进行长时间计算的 Haskell 程序。经过一些分析和跟踪后，我注意到以下内容: $ /usr/bin/time -v ./hl test.hl 9000045000050000 Com
我有一个缓慢的 asp.net 程序正在运行。我想分析生产服务器以查看发生了什么，但我不想显着降低生产服务器的速度。 一般而言，配置生产盒或仅本地开发盒是标准做法吗？另外，您建议使用哪些程序来实现这一
我目前正在尝试分析 Haskell 服务器。服务器永远运行，所以我只想要一个固定时间的分析报告。我尝试只运行该程序 3 分钟，然后礼貌地要求它终止，但不知何故，haskell 分析器不遵守术语信号，并
是否有工具可以分析 Maven 构建过程本身，以便我可以看到构建花费最多时间的地方？ 我们在工作中遇到了关于 Maven 3.0.3 和 3.0b1 的问题。与 3.0.3 (9m00s) 相比，我们
我是一名优秀的程序员,十分优秀！