hadoop - 测试 hadoop 的最佳方法是什么？

Question

我已经完成了 hadoop 集群设置，其中有 3 个用于 QJM 的日志节点、4 个数据节点、2 个名称节点、3 个动物园管理员，但我需要确认它们之间的连接是否成功，所以我也在寻找一个可以执行后续任务

1) 应该检查哪个namenode当前处于事件状态

2) namenode是否相互通信成功

3) 应检查所有日志节点是否相互通信成功

4) 应该检查所有的zookeeper是否相互通信成功

5)哪个zookeeper当前扮演master角色

是否有任何工具或任何命令可用于检查上述任务？

谁能帮我解决这个问题？

Answer 1

使用 Ambari，您可以监控完整的集群性能和工作情况。此外，如果您想以编程方式验证您的 hadoop 作业，然后就可以在Hadoop中使用Counter的概念了。