hadoop - 如何使用 Yarn 为一个作业分配更多资源

Question

我有几个不同的作业要在 Hadoop 集群上运行。有些需要很少的资源，有些则需要更多，例如内存。我想在我的集群上同时运行这些作业，因为它支持 Yarn。我想如果我只是将作业提交到集群，Yarn 会自动决定资源需求，但我想自己指定。如何使用api或命令行来指定每个作业的资源需求？

Answer 1

您可以使用 JobConf 为 mapper 和 reducer 设置内存。您可以从命令行或在您的驱动程序类中执行此操作。

在特定的 setMemoryForMapTask(long mem) 和 setMemoryForReduceTask(long mem) 中查找这些属性

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobConf.html#setMemoryForMapTask(long)有更多信息和使用细节。