hadoop - 为 Hadoop Distcp 作业设置 YARN 应用程序名称

Question

注意:我不想像 Hadoop: specify yarn queue for distcp 中那样指定 YARN 队列名称

---

我经常使用 hadoop distcp用于围绕 HDFS 移动数据，并希望为这些作业提供一个描述性应用程序名称。

---

目前，所有复制作业在 Resource Manager UI 上都以名称 "distcp" 出现，无法区分不同的作业。

---

有什么办法可以改善吗？

Answer 1

与许多其他 MR 工具一样，hadoop distcp 还允许您使用 mapred 属性传递

-Dmapred.property.name=property-value

---

所以当我使用

hadoop distcp \
  -Dmapred.job.name=billing_db.replicate \
  -m 10 \
  /user/hive/warehouse/billing_db.db/ \
  s3a://my-s3-bucket/billing_db.db/

它在 Resource Manager UI 上很好地显示

---

引用资料

• Hadoop: specify yarn queue for distcp
• Sqoop User Guide: Using Generic and Specific Arguments