个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
26
4
在 Pig 中发出转储后，我在控制台上看到以下消息。我之前已经将超过 1500 万条记录的 Cassandra 表中的数据加载到 pig 关系中。
我正在运行一个 5 节点的 Hadoop 集群，所有节点都显示如下相同的消息；
信息 14:16:22,225 attempt_201310071219_0003_m_000001_0 NaN%信息 14:16:25,294 attempt_201310071219_0003_m_000001_0 NaN%信息 14:16:28,366 attempt_201310071219_0003_m_000001_0 NaN%信息 14:16:31,434 attempt_201310071219_0003_m_000001_0 NaN%
有人可以解释一下吗？
查看 Web 浏览器中的作业详细信息，我可以看到 map 和 reduce 任务的数量设置为 1。我的印象是 map 和 reduce 任务分布在 5 个节点上，而不是只有一个节点做所有的工作？
更新:
我已按照建议在一个 Hadoop 节点(500 万个项目)上运行测试，在 Pig 中发出转储后我仍然看到相同的消息...
INFO 15:55:15,448 JVM ID:jvm_201310141552_0001_m_-2064359790 给定任务:attempt_201310141552_0001_m_000002_0 信息 15:55:20,395 attempt_201310141552_0001_m_000002_0 0.0% 设置 信息 15:55:20,397 任务 attempt_201310141552_0001_m_000002_0 已完成。 INFO 15:55:20,398 报告的 attempt_201310141552_0001_m_000002_0 的输出大小为 -1 信息 15:55:20,398 addFreeSlot:当前空闲插槽:1 信息 15:55:21,021 任务“attempt_201310141552_0001_m_000002_0”已成功完成 task_201310141552_0001_m_000002。 信息 15:55:21,031 添加任务 (MAP) 'attempt_201310141552_0001_m_000000_0' 到 tip task_201310141552_0001_m_000000，用于跟踪器 'tracker_CassENT.eveng.local:/10.xxxxx:46522' 信息 15:55:21,033 选择数据本地任务 task_201310141552_0001_m_000000 信息 15:55:21,035 LaunchTaskAction (registerTask): attempt_201310141552_0001_m_000000_0 任务状态:未分配 INFO 15:55:21,035 尝试启动:attempt_201310141552_0001_m_000000_0 需要 1 个插槽 信息 15:55:21,035 收到任务的 KillTaskAction:attempt_201310141552_0001_m_000002_0 信息 15:55:21,036 在 TaskLauncher 中，当前空闲插槽:1 并尝试启动需要 1 个插槽的 attempt_201310141552_0001_m_000000_0 信息 15:55:21,036 即将清除任务:attempt_201310141552_0001_m_000002_0 信息 15:55:21,037 在缓存中找不到 map ID attempt_201310141552_0001_m_000002_0 信息 15:55:21,050 没有为 jobId/taskid 生成新的 JVM:job_201310141552_0001/attempt_201310141552_0001_m_000000_0。尝试重用:jvm_201310141552_0001_m_-2064359790 INFO 15:55:21,421 具有 ID 的 JVM:jvm_201310141552_0001_m_-2064359790 给定任务:attempt_201310141552_0001_m_000000_0 信息 15:55:24,865 ParNew GC:1 次收集 216 毫秒，使用 89930816；最大值为 3200253952 信息 15:55:27,708 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:30,759 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:33,801 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:36,860 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:39,940 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:42,989 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:46,043 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:49,836 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:52,874 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:55,913 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:55:58,958 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:56:02,068 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:56:05,128 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:56:08,184 attempt_201310141552_0001_m_000000_0 NaN% 信息 15:56:11,243 attempt_201310141552_0001_m_000000_0 NaN%
为什么会这样？
谢谢马吉德
最佳答案
您的集群设置似乎有问题。可以发一下你的戒指信息吗？能不能先在一个节点上测试，然后再进行多节点测试。
关于hadoop - Cassandra/Hadoop 重复尝试消息，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19284107/
26
4
0
说真的，你怎么能在不发疯的情况下处理所有这些异常呢？我是不是读了太多关于异常处理的文章或什么？我尝试重构了几次，但每次似乎都以更糟糕的结果告终。也许我应该承认确实会发生异常(exception)情况，
背景 两者 try/rescue和 try/catch是 Elixir 中的错误处理技术。根据 corresponding chapter在介绍指南中。 Errors can be rescued u
每当我尝试在 Raspberry PI 上运行此 python 脚本时，我都会遇到问题: import socket import sys # Create a TCP/IP socket sock
我想知道一些关于 PHP 的 try , catch声明。 让我们考虑以下示例。 abstract class ExceptionA extends Exception {} class Except
我的 laravel v5.4 项目中有两个模型，user 和 admin。 在 config/auth.php 中，我向守卫和提供者添加了管理员，如下所示: 'guards' => [ 'w
try: r = requests.get(url, params={'s': thing}) except requests.ConnectionError, e: print e
我有以下代码。 但是，它并不能捕获所有错误，而我仍然会收到“throw er;//未处理的'错误'事件”。 为什么是这样？ app.post('/api/properties/zip/:zip/bed
问题与细节 我正在使用自定义错误处理，遇到的错误之一是“路径中的非法字符”。我有一个自定义函数，旨在通过路径字符串查找此类非法字符，并在找到它们时引发自定义错误。但是我发现，取决于非法字符，Test-
This question already has answers here: How do I catch a numpy warning like it's an exception (not j
我正在使用其他人的代码，但我不熟悉try/catch，因此我举了一个类似的小例子。在第11行上，如果我写了error('')，似乎没有发现错误并增加了索引j。但是，编写error(' ')或error
我在我的一个程序中遇到了这个问题，在这种情况下，尝试/异常(exception)的错误使程序变得更好，以防用户意外输入了他们不应该输入的内容。它仍然给我错误，我为为什么感到困惑。如果对我的问题确实很重
我在尝试TRY ... CATCH块时遇到问题。有人可以解释为什么以下代码无法执行我的sp吗？ DECLARE @Result int SET @Result = 0 BEGIN TRY SE
我有一个相当大的 powershell 脚本，其中包含许多(20 多个)执行各种操作的函数。 现在所有代码实际上都没有任何错误处理或重试功能。如果某个特定的任务/功能失败，它就会失败并继续。 我想改进
为什么我尝试时需要导入 inputmismatchException catch(InputMismatchException e){ System.out.println("
我对此感到困惑 - 我为辅助方法编写了一个 try/catch 。它的目的是捕获任何无效输入(任何不是“男性”或“女性”的内容(没有特定情况)。如果输入无效，它将通知用户，然后让他们重试。如果有效，则
我有时会发现自己处于如下场景。尽可能简单地陈述问题 “有时我会创建一段代码，Java 让我将其包含在 try/catch 语句中。我没有使用 catch，所以我将其留空。为什么这是错误的？” boo
我有点困惑为什么当我不使用 Try block 时会出现 Try block 错误。 我在代码块底部附近收到错误通知。如果我不使用 try/catch，有人可以向我解释为什么会发生这种情况吗？ 它是否
我已经盯着我的电脑两个小时了，我不知道我做错了什么。谁能帮助我看到光明？ package blackjack; import java.util.Random; import java.util.Sc
我想将方法保存在 Enum 中，但 Class.getDeclaredMethod 抛出 NoSuchMethodException，那么我该如何处理呢？我的代码: public enum Car
这个问题已经有答案了: Executing multi-line statements in the one-line command-line (18 个回答) 已关闭 3 年前。 如何使用try.
我是一名优秀的程序员,十分优秀！