amazon-emr - 电子病历 : All slaves in the job flow were terminated due to Spot

Question

我们在 EMR 和 Spot 实例方面遇到一个问题。

我们在同一区域的不同环境(不同的 AWS 账户)中拥有集群:

• 一个主节点，市场类型:按需
• 两个核心节点，市场类型:现货

当竞价实例终止时(超过我的最高出价、容量不足或其他情况)，集群终止，我只收到以下消息:由于 Spot，作业流程中的所有从站都被终止

经过研究，人们已经遇到了这个问题，但这是由于市场类型为 Spot 的主节点造成的，这不是我的情况:

• AWS EMR Presto Cluster Terminated abruptly Error: All slaves in the job flow were terminated due to Spot (认为​​这个很好奇，因为它在问题中提出了一个“按需”主节点，但随后通过主节点的终止来解释其问题)
• AWS EMR Error : All slaves in the job flow were terminated

我试图在AWS文档中找到答案，但它的结果与我们怀疑的相反:两个核心节点终止，终止集群

问候，

Answer 1

发生这种情况是因为您选择了 spot 类型的核心节点。如果您阅读 AWS EMR 中实例类型的最佳实践，您会发现他们建议核心节点至少使用一个按需实例。请记住，这将收取额外费用。

您可以对核心节点使用实例队列选项，并将现货实例类型和按需实例类型添加到该实例队列中。

所以一般的经验法则是

Keep master and core instances as on-demand and task instances asspot.

我添加了一些链接，您可以在其中阅读有关此内容的更多信息并相应地配置您的集群。

链接1:Cluster configuration and Best Practices

链接2:Types of nodes in EMR