java - 在Eclipse中的Hadoop Mapreduce中将命令行选项传递给reducer

Question

我正在使用Eclipse在Windows中以伪分布式模式运行hadoop。我需要将一些选项[与jvm有关]传递给reducers。我试过使用:

<property>
    <name>mapred.reduce.child.java.opts</name>
    <value>-Dtca.TCA_PROPERTIES=C:\Users\uagrawal\workspace\TCAenv -DMDAPI=C:\Users\uagrawal\workspace\mdapi</value>
  </property>

但我没有成功。早些时候，当我使用本地独立模式时，我只需要在运行对话框中建议这些jvm选项，它们就可以很好地工作。但是在伪分布式模式下，甚至提示运行对话框中的这些参数都无法正常工作。

这是我在伪分布式模式下遇到的错误:

MDV_DATE not found....
java.lang.ClassCastException: com.itginc.tca.config.Config cannot be cast to com.itginc.tca.config.TcaConfig

以上这些错误是因为程序未获取mdapi和tcaenv文件。

Answer 1

要传递命令行参数，您需要使用-D name=value。例如
您想要为所有任务配置临时目录，然后可以使用以下命令

hadoop jar JAR.jar mainClass -D mapreduce.task.tmp.dir="/path/to/temp/dir"

不要忘了在 -D和 name=value之间放置空格
然后您可以配置使用 GenericOptionsParser