hadoop - 如何列出事件的 DISTCP 作业？

Question

如何列出事件的 DISTCP 作业？

我正在两个集群之间运行一个 distcp 作业。hadoop distcp hdfs://x/y/x/y

我想持续运行它，但需要确保现有的 distcp 任务已完成。

我已经在源集群和目标集群上尝试了以下操作，但我看不到复制操作。 映射作业 -list all

Answer 1

这基本上是 Yarn api get applications by elapsedTime 的变体.在您的情况下，您可以使用 RM Cluster Applications API 获取所有应用程序(不幸的是它不会过滤 name)，然后过滤 name 等于 distcp 的应用程序。下面展示如何使用jq进行过滤:

$ curl 'RMURL/ws/v1/cluster/apps' | jq '.apps.app[] | select (.name == "distcp")'

对于您的情况，如果您只对活跃的工作感兴趣，您可以将 states 过滤器添加到 API 调用中。

$ curl 'RMURL/ws/v1/cluster/apps?states=NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING' |\
    jq '.apps.app[] | select (.name == "distcp")'

http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API