hadoop - AWS EMR 验证错误

Question

我在运行 map-reduce java 应用程序时遇到问题
我使用 AWS 提供的教程代码简化了我的问题，该代码运行了一个预定义的步骤:

public class Main {

public static void main(String[] args) {

    AWSCredentials credentials = getCredentials();
    AmazonElasticMapReduceClient emr = new AmazonElasticMapReduceClient(
            credentials);

    StepFactory stepFactory = new StepFactory();

    StepConfig enabledebugging = new StepConfig()
            .withName("Enable debugging")
            .withActionOnFailure("TERMINATE_JOB_FLOW")
            .withHadoopJarStep(stepFactory.newEnableDebuggingStep());

    StepConfig installHive = new StepConfig().withName("Install Hive")
            .withActionOnFailure("TERMINATE_JOB_FLOW")
            .withHadoopJarStep(stepFactory.newInstallHiveStep());

    RunJobFlowRequest request = new RunJobFlowRequest()
            .withName("Hive Interactive")
            .withAmiVersion("3.3.1")
            .withSteps(enabledebugging, installHive)
            .withLogUri("s3://tweets-hadoop/")
            .withServiceRole("service_role")
            .withJobFlowRole("jobflow_role")
            .withInstances(
                    new JobFlowInstancesConfig().withEc2KeyName("hadoop")
                            .withInstanceCount(5)
                            .withKeepJobFlowAliveWhenNoSteps(true)
                            .withMasterInstanceType("m3.xlarge")
                            .withSlaveInstanceType("m1.large"));

    RunJobFlowResult result = emr.runJobFlow(request);
    System.out.println(result);
}

   private static AWSCredentials getCredentials() {
        AWSCredentials credentials = null;
        credentials = new BasicAWSCredentials("<KEY>","<VALUE>");
        return credentials;
    }

}

其中，是 secret 事件 key ，“hadoop”是我在 EC2 控制台中创建的 key 对。

运行后，我看到作业试图在 EMR 控制台中启动，1 分钟后它从“开始”变为“ ”因错误而终止
验证错误 '

没有提供其他信息

任何想法出了什么问题？

谢谢!

Answer 1

您可以在 EMR 集群列表详细信息页面(顶部)上查看错误详细信息。因为它是一个验证错误，它还没有出现在日志中，所以唯一的方法是检查异常详细信息/cli 响应/aws 控制台...

我的猜测是您使用的实例类型在 EMR 中不受支持(它们在 EC2 中受支持，但在 EMR 中不受支持)。但是，一旦您按照给定的步骤操作，您就会遇到确切的问题。