gpt4 book ai didi

hadoop - pig 工作在Amazon EMR上被杀死。

转载 作者:行者123 更新时间:2023-12-02 21:37:11 26 4
gpt4 key购买 nike

我一直在尝试在Amazon EMR上执行多个步骤的操作。以下是我的环境的详细信息:

节点数:20
AMI版本:3.1.0
Hadoop发行版:2.4.0

pig脚本具有多个步骤,它产生了一个长期运行的map reduce作业,该作业同时具有map阶段和reduce阶段。在运行了一段时间(有时是一个小时,有时是三个或四个小时)后,该作业被终止。作业的资源管理器上的信息是:

杀死来自hadoop(auth:SIMPLE)的工作
作业在“运行中”状态下被杀死。

显然,我没有杀死它:)

我的问题是:我如何去尝试确定到底发生了什么?我如何诊断问题?要查看哪些日志文件(grep要做什么)?即使在适当的日志文件上的任何帮助也将大有帮助。我是YARN / Hadoop 2.0的新手

最佳答案

可能有很多原因。在您的集群上启用调试,并在stderr日志中查看更多信息。

aws emr create-cluster --name "Test cluster" --ami-version 3.9 --log-uri s3://mybucket/logs/ \
--enable-debugging --applications Name=Hue Name=Hive Name=Pig

此处有更多详细信息:
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-debugging.html

关于hadoop - pig 工作在Amazon EMR上被杀死。,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31276475/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com