java - 在 mapreduce 作业提交期间为 mappers 和 reducer 配置内存

Question

我正在尝试在 map reduce 作业提交期间为 mapper/reducer 内存配置内存，如下所示:

hadoop jar Word-0.0.1-SNAPSHOT.jar -Dmapreduce.map.memory.mb=5120 com.test.Word.App /tmp/ilango/input /tmp/ilango/output/

上面的命令有没有错误？我收到以下异常。看起来我们需要放置 JAR 文件还是需要配置在 Hadoop 中使用 -D 选项的内容。提前致谢。

Exception in thread "main" java.lang.ClassNotFoundException: -Dmapreduce.map.memory.mb=5120
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:205)

Answer 1

运行 MR 作业的命令是

hadoop jar jarname classname 输入输出

按照您的吩咐

hadoop jar jarname -D mapreduce.map.memory.mb=5120 类名输入输出

hadoop 检查名为“-Dmapreduce.map.memory.mb=5120”的驱动程序类。这就是它显示 java.lang.ClassNotFound 异常的原因。

-D 选项应该在您的Driver 类之后提供。

尝试使用下面的命令。

hadoop jar Word-0.0.1-SNAPSHOT.jar  com.test.Word.App -D mapreduce.map.memory.mb=5120 /tmp/ilango/input /tmp/ilango/output/

希望这能解决您的问题。