hadoop - 用于获取正在运行的应用程序使用的容器和 vcore 数量的 YARN shell 命令

Question

hadoop job -list 似乎只显示 mapreduce 作业，但我的资源管理器 UI 为在 YARN 上运行的所有作业显示诸如“分配的 CPU VCores”和“分配的内存 MB”之类的东西(包括诸如Spark 和 Tez)。

如何通过命令行而不是转到 UI 来获取这些结果？

Answer 1

YARN 支持不同类型的应用程序。 “MapReduce”是YARN支持的一种应用。如果您使用 hadoop job(已弃用，您应该使用 mapred job)或 mapred job，您只能操作 MapReduce 作业。

要查看不同类型应用程序(mapreduce、spark 等)的状态，您应该使用 YARN CLI。

例如"yarn application -list -appStates ALL"，列出所有应用的状态。此命令的输出包含一列 “Application-Type”，它指示应用程序的类型(例如，用于 MapReduce 应用程序的 MAPREDUCE)。

您可以获得有关应用程序、应用程序尝试、容器等的详细信息。此处提供了 2.7.1 版 Hadoop 的命令:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YarnCommands.html .

但是，这些命令不会通过 CLI 返回“分配的 CPU VCores”和“分配的内存 MB”等详细信息。

yarn application -status {Application ID} 命令以 “MB 秒” 和 的形式返回 “聚合资源分配”>“vcore-seconds”

例如-status 我的一个应用程序被返回:

聚合资源分配:12865641 MB 秒，1041 vcore 秒