个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
27
4
我是 Hadoop 新手。
你能说说(键/值)对吗？值总是一个吗？ reduce 步骤的输出总是一个(键/值)对吗？如果是，该(键/值)数据将如何进一步使用？
请帮帮我。
最佳答案
我猜你问的是由于 wordcount 导致的 (key,values) 对的“一个”值Hadoop 教程中的示例。所以，答案是否定的，它并不总是“一个”。
MapReduce 的 Hadoop 实现通过在整个工作流中传递(键，值)对来工作，从输入到输出:
映射步骤:一般来说(还有其他特殊情况，取决于输入格式)，映射器逐行处理分配给它们的拆分内的数据；这些行作为 (key,value) 对传递给 map 方法，说明拆分中行的偏移量(键)和行本身(值)。然后，它们在输出端产生另一个 (key,value) 对，其含义取决于您正在实现的映射函数；有时它会是一个可变键和一个固定值(例如，在 wordcount 中，键是单词，值始终是“一”)；其他时候，该值将是行的长度，或者以前缀开头的所有单词的总和……无论您怎么想； key 可能是一个词，一个固定的自定义键...
Reduce 步骤:通常，reducer 会接收映射器生成的(键，值)对列表，这些映射器的键相同(这当然取决于您使用的组合器类，但这只是一般情况)。然后，它们在 poutput 中产生另一个(键，值)对，同样，这取决于您的应用程序的逻辑。通常，reducer 用于聚合关于同一键的所有值。
这是一个非常粗略的快速和不详细的解释，我建议您阅读一些关于它的官方文档，或专业文献，如 this .
关于hadoop - Hadoop 中的 (key,value) 对总是 ('text' ,1) 吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29843492/
27
4
0
我不明白 int 63823 为何比 double 1.0 占用更少的空间。在这个特定实例中，int 中是否没有存储更多信息？ 最佳答案 I don't understand how an int 6
这可能不是一个直接的代码问题，但它是一个经常出现在 SO 上的问题，我发现阅读它非常有用。 App Store - Help answering “Missing Compliance” (using
我在我们的应用程序中使用 syncfusion 寻呼机和下拉列表请打开以下链接。 https://stackblitz.com/edit/angular-nv6myv?file=src%2Fapp%2
以便解释指针和引用in this question我写了这段代码。 MyClass& MyClass::MyInstance() { static MyClass & myLoca
在 C 和 C++ 中，assert 是一个非常 重量级例程，将错误写入 stdout 并终止程序。在我们的应用程序中，我们实现了一个更强大的 assert 替代品，并为其提供了自己的宏。已尽一切努力
我已经创建了一个 MVC webApi 项目，现在我想使用身份验证和授权。我想我已经实现了这种安全措施，但由于某种原因，有些事情变糟了，当我编写我的凭据并尝试调用一些 webApi 方法时，显示消息“
我发现自己使用一种奇怪的方式向我的函数添加回调函数，我想知道是否有更通用的方式向函数添加回调函数，最好的情况是我的所有函数都检查最后给定的作为函数的参数，如果是，则将其用作回调。 我以前是这样的: v
几乎从来没有我只想获取某个 Remote 的情况；我总是想要所有的 Remote 。我认为这将是一个足够常见的用例，git 会考虑它(与他们有 pull.rebase true 的方式相同)。 那么，
我正在尝试使用 inarray 但它总是返回 true？有任何想法吗？ (所有 li 均已显示) $("#select-by-color-list li").hide(); // get the se
我正在尝试为我公司的开发环境设置过期网址。我们使用 lighttpd在此环境中提供上传的文件，我发现 these docs这似乎相当有希望。 问题是我似乎根本无法让它工作，而且我有点不知所措，试图找出
我无法让“文件夹”外部变量工作。我总是得到[:]。 我正在 Windows 下的 Grails 上进行开发(这就是为什么外部配置文件看起来像 file:C:\path\to/file)。 我在另一个项
这个问题是出于对 PL 如何工作的好奇，而不是其他任何事情。 (它实际上是在查看与 Haskell 不同的 SML 时想到的，因为前者使用按值调用 - 但我的问题是关于 Haskell。) Haske
我有一个高速缓存内存模块，我希望它是可字寻址的，但有字节的写使能信号。 always @ (posedge clk) begin //stuff... if(write) begin
我正在处理一些代码，其中一个对象“foo”正在创建另一个对象对象“bar”，并向其传递一个Callable。之后 foo 将返回bar，然后我希望 foo 变得无法访问(即:可用于垃圾收集)。 我最初
我已将我的程序与此方法相关联: public static void CreateFileAssociation(string extension, string key, string descri
所以我正在进行目录遍历，但我无法让 opendir 按照我想要的方式工作。它总是无法打开我发送的目录，它给出了一些未知的错误。我通常传入 argv[1]，但我放弃了，只是开始硬编码路径。 char *
这个问题在这里已经有了答案: How do I compare strings in Java? (23 个回答) 关闭 9 年前。 出于某种原因，我的(基本)程序总是打印我为 else 语句保留的
我不想冒为此提出破解的风险，因为它涉及 datetime 对象。基本上，我想按如下方式进行转换: 2010-04-21 06:37:53 -> 2010-04-21 06:40:00 2010-08-
我正在用 C 语言玩文件 I/O。我正在尝试使用 fgets 从一个文件中读取数据并将其输出到另一个文件。问题是它总是返回 NULL，因此没有任何内容被复制到输出文件中。这是我的代码: #includ
class MyClass { // empty class with no base class }; int main() { MyClass* myClass = new MyC
我是一名优秀的程序员,十分优秀！