个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
即使以非map/reduce方式实现Hadoop Job对我来说没有任何意义，我也需要在我的大学项目中实现它
Hadoop Job如何作为非map/reduce运行？只需将reducer 设置为0 就足够了吗？
job.setNumreduceTasks(0)
或者还有其他方法吗？
我的应用程序与映射器和 reducer 类完美配合，计数问题得到解决(类似于世界计数，但以生物学方式)。
最佳答案
事实上，您创建了一个 Job 类，根据定义，它要求您设置映射器和化简器类，这促使您执行映射化简。
如果您必须使用 Hadoop，并且不想执行多个映射或归约操作(例如不并行化操作)，则不需要通过 InputFormat 拆分文件(默认情况下逐行读取文件)。
如果您让映射器只读取一个拆分，它将处理整个文件。您可以在映射器任务中解析整个文件，也可以将其直接传递到 reducer 并在那里执行。
基本上，您只是导致数据在此时重新序列化
关于java - 如何将 Hadoop MapReduce 作业实现为非 Map/Reduce，即使没有任何意义？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59627962/
25
4
0
我有一张 table People (First_Name, Last_Name)。此表包含与示例中一样重复的记录(并非所有行都重复): First_Name Last_Name John
我用 Java 编写过很多程序，之前也涉足过 C++。我在各种 C++ 书籍中阅读了有关指针的内容，并完成了书籍中的各种示例。 我了解指针的基础知识，但有一件事我一直不清楚。指针在现实世界中的应用是什
线 .Mappings(m => m.FluentMappings.AddFromAssemblyOf() 它有什么作用？它会在派生自 ClassMap 的 Product 类的程序集中查找任
我有用于打印数字的自定义打印功能。我制作了一个 ASCII 版本和一个 UTF-16LE 版本。 UTF-16LE 版本对 0-9 使用全角代码/字符，对十六进制使用 A-F。在调试我的函数时，我注意
这是我的代码片段: float ab(float); 以后 if(ab(temp)
我在一个项目文件中包含以下代码: //begin of the file ((window) => { 'use strict'; class View extends GSM.Event
我一直在到处寻找关于 ? 用法的正确解释。和 *。我注意到我可以使用以下方法拒绝所有用户的访问: 如果我想允许某个组，我应该在其上方添加下一行: 但是当我看到人们使用 ? 时，我开始忘记什么意思，
我正在关注 melon js tutorial .这是在我的 HUD.js 文件的顶部。 game.HUD = game.HUD || {} 我以前在其他例子中见过这个。 namespace.some
我正在处理一个包含数千行代码的文件。我正在第 700 行实现一个算法。我经常不得不离开这些行来检查文件中的其他方法。 导航回到我实际编码的地方通常很痛苦。如果我可以在第 700 行设置一个航路点并为其
我遇到了这段代码 do { if (higherQuality && w > targetWidth) { w /= 2; if (w &
uint8_t * const LCDMem = (uint8_t *) &LCDM3; 此代码在 msp430fg4618 培训套件中用于 lcd 配置。谁能解释一下上述代码的含义？ 它允许使用 a
上下文 阅读一些内核代码。 问题 我不明白这行是什么意思 *(void **) &(int[2]){0,PAGE_SIZE}; 还有更多，这是什么意思 {0,PAGE_SIZE} 对我来说，它看起来不
我正在查看 Underscore.js 的源代码库，专门用于 map方法(该页面第 85 行左右，并复制到此处): _.map = function(obj, iterator, context)
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 9
我是一名优秀的程序员,十分优秀！