hadoop - 运行 yarn jar 命令时更改 tmp 目录

Question

我正在使用 yarn jar 命令运行 MR 作业，它会在 /tmp 文件夹中创建一个临时 jar，它会填满整个磁盘空间。我想将这个 jar 的路径重定向到我有更多磁盘空间的其他文件夹。关于这个link ，我开始知道我们可以通过为 hadoop 版本 1.x 设置属性 ma​​pred.local.dir 来更改路径。我正在使用以下命令来运行 jar

yarn jar myjar.jar MyClass myyml.yml arg1 -D mapred.local.dir="/grid/1/uie/facts"

上面的参数 mapred.local.dir 没有改变路径，它仍然在 tmp 文件夹中创建 jar。

Answer 1

发现了不将 unjar 文件写入/tmp 文件夹的技巧。显然，这不是可配置的行为，因此我们可以通过调用生成的类路径来避免使用“hadoop jar”或“yarn jar”(RunJar 实用程序):

java -cp $(hadoop 类路径):my-fat-jar-with-all-dependencies.jar你的.app.mainClass

1. Reference link