Hadoop 资源管理

Question

我有一个 12 节点集群，我运行的是 yarn 架构。似乎我的节点大部分时间都很忙，而且很多时候作业都失败了。如何随时查看资源的使用情况？还有什么方法可以为用户设置有限的资源，例如:如果用户提交作业，他应该只获得 25GB 的内存和 12 个内核。

Answer 1

有多种方法可以监控集群。

如果您使用的是 Cloudera 发行版，那么您可以进入 Cloudera Manager 来监控和管理资源

如果您使用的是 Hortonworks 发行版，那么您可以进入 Ambari Web 界面来监控和管理资源

如果您没有使用任何发行版，那么集群将使用 Ganglia 或 Nagios 网络界面进行管理

即使您没有这些，您也可以转到通常在 http://:8088 上运行的资源管理器 Web 界面。 8088 是默认端口号，可以自定义，你可以从 yarn-site.xml 中获取该信息

如果您的组织不提供对 Web 界面的访问，您可以使用诸如 yarn application --list 和 mapred job --list 之类的命令来查看发生了什么在集群中

监控实际使用情况并不乏味。您应该知道用于监视和开发 shell 脚本的 linux 命令。

Also is there any method to set a limited resource to a user for eg: if a user submits a job he should be given only 25gb of memory and 12 cores.

是的，您需要使用 Yarn 中嵌入的调度程序的队列和池概念。有 3 种类型的调度程序 FIFO，Capacity 和 Fair。 FIFO 不应该在任何集群中使用，它主要用于开发。您需要了解容量和公平调度程序并设置限制。