shell - 显示状态已取消的 EMR 集群步骤

Question

我正在尝试通过 shell 脚本创建一个 EMR 集群，并且我添加了一些步骤(通过 shell 脚本)，这些步骤将在创建 EMR 集群后执行...我的一些脚本运行并显示状态“完成”而有些显示“Cancelled”...当我浏览“Cancelled”的日志时，它能够打印我想要的变量打印...但为什么此步骤显示其状态为“已取消”？？

Answer 1

我见过集群终止然后剩余步骤变为“已取消”状态的场景。

1. 在使用 EMR 不支持的节点类型创建集群时:所有步骤甚至在开始之前就被取消了。

2. 如果您在集群中使用现货定价，如果您设置的出价不再高于现货出价阈值并且您的节点被取消配置，它将还将节点的状态更改为已取消。

3. 如果其中一个步骤启用了在该步骤失败时终止集群的设置。在这种情况下，其中一个步骤失败，整个集群被杀死，其他任何步骤都不允许启动。

诊断此问题的一种稍微简单的方法是使用脚本创建集群，然后在 EMR GUI 中导航到该集群并观察其继续进行。通常它会在顶部告诉您一条高级状态消息，如果集群本身被杀死，那在 UI 中会非常清楚。