hadoop - Amazon EMR - 从站上的 Yum 更新引导操作失败

Question

打算重写这个问题，因为我得到了很多更新的信息。

我的问题如下:

我有一个包含 1 个主节点和 1 个从节点的 EMR 集群。从节点配置为可以不受限制地访问开放互联网(我知道这是一个安全风险)。

当我使用简单调用 sudo yum -y update 的引导操作设置此集群时，它失败了，表示引导操作在从属节点上失败(它总是在主节点上成功)

但是，如果 SSH 进入从节点并手动尝试执行 sudo yum -y update，则操作会在 5.5.0 EMR 包上成功。

我无法进一步调试为什么会发生这种情况，因为尽管据我所知已正确配置它，但 EMR 不会将任何日志复制到 S3(日志复制最多是零星的)并且 CloudWatch 不会获取任何日志来自 VPC，这使得调试此问题变得非常模糊。

如有任何信息，我们将不胜感激。

编辑:我能够让我的 CloudWatch VPC 日志正常工作(显然我的 IAM 没有上传日志的信任关系)，并且它显示了很多 REJECT，而主节点似乎没有显示任何拒绝。这让我假设有一些自动配置正在进行并阻止我正确下载 yum 包？

Answer 1

我在使用 EMR 6.3.0 时遇到了同样的错误。有趣的是，它适用于某些 AWS 账户。我相信 boostrap 操作与 EMR 配置同时运行。所以如果 yum update 时间过长，一些包会安装失败。

我尝试了几次，不同的包在这个日志文件中失败:.../node/reports/**/*.yaml.gz 消息 “错误: Rpmdb 在我们下面发生了变化”。

我的解决方案是从引导操作中删除 yum update。根据此文档，这很好: https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html

“在首次启动时，默认情况下，Amazon Linux AMI 连接到程序包存储库以在其他服务启动之前安装安全更新。”