Hadoop yarn : How to force a Node to be Marked "LOST" instead of "SHUTDOWN"?

Question

我正在对节点丢失时发生的 YARN 应用程序故障进行故障排除，因此我正在尝试重新创建此场景。但我只能强制节点关闭而不是丢失。我正在使用 AWS EMR，并且尝试过:

登录节点并执行 shutdown -h now

登录节点并执行 sudo stop hadoop-yarn-nodemanager和 sudo stop hadoop-hdfs-datanode

用 kill -9 <pid> 杀死 NodeManager

那些导致 SHUTDOWN 节点但不是 LOST 节点。
如何在 AWS EMR 中创建 LOST 节点？

Answer 1

节点管理器是 LOST意味着 ResourceManager 在 nm.liveness-monitor.expiry-interval-ms 的持续时间内没有收到来自它的心跳毫秒(默认为 10 分钟)。您可能想尝试阻止从 NM 节点到 RM 的 IP(如果 RM 节点运行多项服务，则仅阻止端口)的出站流量，但我不确定如何在 AWS 中实现这一点。也许使用 iptables，例如:

iptables -A OUTPUT -p tcp -d <RM's IP> --dport <RM's port> -j DROP