Hadoop reduce 停止运行-6ren

Hadoop reduce 停止运行

转载作者：可可西里更新时间：2023-11-01 14:15:38

27

4

我现在有一个可怕的问题。当我在 hadoop 中运行作业时， map 进程正常，达到 100%，没有发生任何故障。然而，当reduce进程运行时，它在达到67%时停止了。这很奇怪。我是hadoop的新手，在网上搜索了很多资料，但现在仍然很困惑。下面是一段输出。

13/10/25 21:40:00 INFO input.FileInputFormat: Total input paths to process : 2
13/10/25 21:40:01 INFO mapred.JobClient: Running job: job_201310252001_0003
13/10/25 21:40:02 INFO mapred.JobClient:  map 0% reduce 0%
13/10/25 21:40:30 INFO mapred.JobClient:  map 1% reduce 0%
13/10/25 21:40:37 INFO mapred.JobClient:  map 2% reduce 0%
13/10/25 21:40:39 INFO mapred.JobClient:  map 3% reduce 0%
13/10/25 21:40:40 INFO mapred.JobClient:  map 4% reduce 0%
13/10/25 21:40:42 INFO mapred.JobClient:  map 5% reduce 0%
13/10/25 21:40:43 INFO mapred.JobClient:  map 6% reduce 0%
13/10/25 21:40:45 INFO mapred.JobClient:  map 7% reduce 0%
13/10/25 21:40:46 INFO mapred.JobClient:  map 9% reduce 0%
13/10/25 21:40:48 INFO mapred.JobClient:  map 10% reduce 0%
13/10/25 21:40:49 INFO mapred.JobClient:  map 11% reduce 0%
13/10/25 21:40:52 INFO mapred.JobClient:  map 14% reduce 0%
13/10/25 21:40:55 INFO mapred.JobClient:  map 17% reduce 0%
13/10/25 21:40:58 INFO mapred.JobClient:  map 19% reduce 0%
13/10/25 21:41:01 INFO mapred.JobClient:  map 22% reduce 0%
13/10/25 21:41:04 INFO mapred.JobClient:  map 23% reduce 0%
13/10/25 21:41:05 INFO mapred.JobClient:  map 24% reduce 0%
13/10/25 21:41:07 INFO mapred.JobClient:  map 26% reduce 0%
13/10/25 21:41:08 INFO mapred.JobClient:  map 27% reduce 0%
13/10/25 21:41:10 INFO mapred.JobClient:  map 28% reduce 0%
13/10/25 21:41:11 INFO mapred.JobClient:  map 29% reduce 0%
13/10/25 21:41:13 INFO mapred.JobClient:  map 30% reduce 0%
13/10/25 21:41:14 INFO mapred.JobClient:  map 31% reduce 0%
13/10/25 21:41:16 INFO mapred.JobClient:  map 32% reduce 0%
13/10/25 21:41:20 INFO mapred.JobClient:  map 34% reduce 0%
13/10/25 21:41:23 INFO mapred.JobClient:  map 35% reduce 0%
13/10/25 21:41:26 INFO mapred.JobClient:  map 36% reduce 0%
13/10/25 21:41:34 INFO mapred.JobClient:  map 37% reduce 0%
13/10/25 21:41:39 INFO mapred.JobClient:  map 38% reduce 0%
13/10/25 21:41:43 INFO mapred.JobClient:  map 40% reduce 0%
13/10/25 21:41:44 INFO mapred.JobClient:  map 40% reduce 6%
13/10/25 21:41:46 INFO mapred.JobClient:  map 42% reduce 6%
13/10/25 21:41:49 INFO mapred.JobClient:  map 43% reduce 6%
13/10/25 21:41:51 INFO mapred.JobClient:  map 44% reduce 6%
13/10/25 21:41:52 INFO mapred.JobClient:  map 45% reduce 6%
13/10/25 21:41:55 INFO mapred.JobClient:  map 46% reduce 6%
13/10/25 21:41:57 INFO mapred.JobClient:  map 47% reduce 6%
13/10/25 21:41:58 INFO mapred.JobClient:  map 48% reduce 9%
13/10/25 21:42:01 INFO mapred.JobClient:  map 51% reduce 12%
13/10/25 21:42:04 INFO mapred.JobClient:  map 54% reduce 12%
13/10/25 21:42:07 INFO mapred.JobClient:  map 56% reduce 12%
13/10/25 21:42:10 INFO mapred.JobClient:  map 58% reduce 12%
13/10/25 21:42:13 INFO mapred.JobClient:  map 60% reduce 12%
13/10/25 21:42:16 INFO mapred.JobClient:  map 61% reduce 12%
13/10/25 21:42:19 INFO mapred.JobClient:  map 62% reduce 15%
13/10/25 21:42:22 INFO mapred.JobClient:  map 63% reduce 15%
13/10/25 21:42:23 INFO mapred.JobClient:  map 65% reduce 15%
13/10/25 21:42:26 INFO mapred.JobClient:  map 66% reduce 15%
13/10/25 21:42:28 INFO mapred.JobClient:  map 67% reduce 15%
13/10/25 21:42:29 INFO mapred.JobClient:  map 68% reduce 15%
13/10/25 21:42:32 INFO mapred.JobClient:  map 69% reduce 15%
13/10/25 21:42:34 INFO mapred.JobClient:  map 70% reduce 18%
13/10/25 21:42:35 INFO mapred.JobClient:  map 72% reduce 18%
13/10/25 21:42:38 INFO mapred.JobClient:  map 75% reduce 18%
13/10/25 21:42:41 INFO mapred.JobClient:  map 77% reduce 18%
13/10/25 21:42:44 INFO mapred.JobClient:  map 80% reduce 18%
13/10/25 21:42:47 INFO mapred.JobClient:  map 82% reduce 18%
13/10/25 21:42:50 INFO mapred.JobClient:  map 85% reduce 18%
13/10/25 21:42:53 INFO mapred.JobClient:  map 87% reduce 18%
13/10/25 21:42:56 INFO mapred.JobClient:  map 88% reduce 18%
13/10/25 21:42:59 INFO mapred.JobClient:  map 89% reduce 18%
13/10/25 21:43:02 INFO mapred.JobClient:  map 90% reduce 18%
13/10/25 21:43:05 INFO mapred.JobClient:  map 91% reduce 18%
13/10/25 21:43:18 INFO mapred.JobClient:  map 94% reduce 21%
13/10/25 21:43:21 INFO mapred.JobClient:  map 97% reduce 21%
13/10/25 21:43:24 INFO mapred.JobClient:  map 99% reduce 27%
13/10/25 21:43:27 INFO mapred.JobClient:  map 100% reduce 30%
13/10/25 21:43:30 INFO mapred.JobClient:  map 100% reduce 67%

最佳答案

这里的症状是你的代码在你的 reduce 阶段被“卡住了”，要么是因为无限循环，要么只是收到了可笑的数据量，或者其他原因(也许发布你的 reduce 代码？)。

以下是百分比在 reducer 中的工作方式:

0-33% 是洗牌。这是数据从映射器移动到缩减器(查看它是如何在映射器完成之前开始的)。
33%-67% 是那种。这只能在映射器完成后开始(查看映射器达到 100% 后它如何从 30% 变为 67%)。
67%-100% 是您正在运行的实际 reduce 代码。每次 reduce task 完成时，这个百分比都会增加。您的 reduce 任务均未完成。

在 JobTracker 界面中，查看您的作业并查看 reducer 接收了多少数据。如果 reducer 中的记录数量增加，则意味着您可能有太多数据进入 reducer。如果该数字保持不变，您可能会遇到某种无限循环。

关于Hadoop reduce 停止运行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19592744/

27

4

0

文章推荐： java - 在 Hadoop 2 上运行作业时无法初始化集群异常

文章推荐： hadoop - AM 容器运行超出虚拟内存限制

文章推荐： windows - 完全迷失在 "Installing"OpenCV/ctypes-opencv for Python 3

文章推荐： hadoop - 为什么不建议将 RAID 用于 Hadoop HDFS 设置？

javascript - 从另一个 reducer 中的一个 reducer 访问 reducer 状态的一部分
我不知道如何从 reducerRegister.js 中的 reducerForm.js reducer 访问 bool 值 isLoading 标志。我使用了 combineReducers() 并
reducers - 使用拆分 reducer 更新相关状态字段的最佳方法？
我正在尝试找到一种理想的方法来更新我的状态树上的几个顶级字段，同时仍然维护拆分 reducer 。这是我想出的一个简单的解决方案。 var state = { fileOrder: [0],
hadoop: reducer 输出到另一个 reducer
如果我们想按相同的键(第一个 reducer 的输出)分组，是否可以将 reducer 的输出直接发送到另一个 reducer 有时在链接时我发现我正在使用一个映射器来读取输入并将其复制到输出。因此想
reactjs - 返回 reducer 结果集合的 reducer
我有一个如下所示的 reducer : const chart = combineReducers({ data, fetchProgress, fetchError,
hadoop - reducer 如何汇总所有 reducer 的输出并产生最终输出？
当Map Reduce代码中有多个reduce时，它们之间没有任何形式的通信。但是，当执行诸如聚合之类的操作时，所有化简器共同产生单个最终输出。当它们之间没有通信时，聚合如何发生？是通过写入上下文吗？
hadoop - 一个查询运行map reduce，另一个查询不运行map reduce
我在 hive 中有一个表，我想从中获取所有数据。问题是: select * from tbl; 给我的结果与以下情况截然不同: select count(*) from tbl; 这是为什么？第二个
javascript - 状态被另一个 reducer 更新后运行 reducer
假设我有一个带有两个 reducer 的应用程序 - 使用 combineReducers() 组合的 tables 和 footer。当我点击某个按钮时，将分派(dispatch)两个操作 - 一
javascript - 高阶 reducer 应用于多个 reducer
我正在学习更深入的 redux，并且在处理高阶 reducer 时遇到一些麻烦。我试图使用一个简单的分页示例来了解它是如何工作的。 NB:下面的代码只是 Nodejs 上下文中 redux 的一个快
javascript - Reducer 函数无法在 reducer 对象中创建键值对
我调用 RSS 提要并使用解析器对其进行解析。我收到一个数组。我现在想在最后创建一个对象，看起来像这样: { "2019-06-13": { "rates": { "usd":
javascript - 从不同的 reducer 访问 reducer ？
我有一份学生列表，我的应用程序始终显示当时的一个学生，即 activePupil。到目前为止我有两个 reducer 。其中一个包含并默认返回所有子项的列表(以数组的形式): [ { id:
angular - 将大 reducer 拆分为更小的 reducer
我有一个叫做 animals 的特征缩减器(切片缩减器)。我想将这些 reducer 拆分为哺乳动物、鸟类、鱼类等。这部分很简单，因为我可以简单地使用 ActionReducerMap。现在假设哺乳
reduce - 如何在空的 Kotlin 数组上调用 reduce？
空数组上的简单reduce会抛出: 线程“main”java.lang.UnsupportedOperationException 中的异常:无法减少空的可迭代对象。链接时同样的异常: val a
mongoDB map/reduce 减去 reduce
我有一些 25k 文档(原始 json 中为 4 GB)的数据，我想对其执行一些 javascript 操作，以使我的最终数据使用者 (R) 更容易访问这些数据，并且我想通过为每个更改添加一个新集合来
java - mapreduce.reduce.shuffle.memory.limit.percent、mapreduce.reduce.shuffle.input.buffer.percent 和 mapreduce.reduce.shuffle.merge.percent
我只是想验证我对这些参数及其关系的理解，如果我错了请通知我。 mapreduce.reduce.shuffle.input.buffer.percent 告诉分配给 reducer 的整个洗牌阶段的内
reactjs - 将状态值从 redux reducer 传递到另一个 reducer
我想将 redux 状态的值从 reducer 传递到另一个 reducer。在我的例子中，我想将 groups 的值从 groupReducer.js 中的状态传递到 scheduleReducer
Redux 和在 reducer 中访问不同的 reducer ，如何？
所以，我有一个应用程序，它有多个 reducer ，因此有多个关联的 Action 创建者。有一段时间，我的一个 reducer 更新了状态(由于编辑)，因此，我必须确保其他 reducer 看到此
reactjs - 从另一个 reducer 内访问 reducer 状态
我有一个 reducer ，可以在调度操作时重新调整适当的状态。现在我定期调用 API，因此结果会一次又一次地触发操作。所以我想要的是，如果 reducer 状态已经有数据，那么另一个 reducer
couchbase - 错误( reducer : ) when attempting to do distinct reduce
当我尝试执行来自 here 的 DISTINCT reduce 时，出现错误。我已经在啤酒 sample 桶上重现了这个错误，所以这应该很容易重现。我没有在 mapreduce_errors.txt
parsing - Shift-Reduce 和Reduce-Reduce 示例以及一个已解决的示例？
在以下语法的简单优先级解析(分解)中，我们存在 shift-reduce 和 reduce-reduce 冲突。 X 是开始符号，X'-->$X$ 是添加规则。另外+和下符号是终结符。 X'-->$X
java - Map ->Reduce ->Reduce(顺序调用两个reducer)-如何配置驱动程序
我需要编写一个连续调用两个reducer的Mapreduce程序。即，第一个 reducer 的输出将是第二个 reducer 的输入。我如何实现这一目标？到目前为止我发现的内容表明我需要在我的驱动

首页

博学

6Ren·AI

商城

Hadoop reduce 停止运行