gpt4 book ai didi

hadoop - 在命令行上通过 Hadoop 作业客户端提交 Hadoop 作业

转载 作者:可可西里 更新时间:2023-11-01 15:41:16 37 4
gpt4 key购买 nike

我一直在尝试查找有关如何通过命令行提交 hadoop 作业的信息。

我知道命令 - hadoop jar jar-file 主类输入输出

还有另一个命令,我正在尝试查找有关它的信息,但未能找到 - hadoop job -submit job-file

什么是“作业文件”,如何创建?命令 (a.) 和 (b.) 之间的基本区别是什么?哪个更好?

提前致谢。

最佳答案

这是运行 wordcount Map-reduce 作业的作业文件示例。同样,您可以为 Map-Reduce 作业编写作业文件。

mapred.input.dir=data/file1.txt
mapred.output.dir=output
mapred.job.name=wordcount
mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
mapred.mapoutput.key.class=org.apache.hadoop.io.Text
mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
mapred.output.key.class=org.apache.hadoop.io.Text
mapred.output.value.class=org.apache.hadoop.io.IntWritable

对我来说,“Hadoop Jar”更好,因为在作业文件中完成的配置可以在程序本身中轻松完成。谢谢

关于hadoop - 在命令行上通过 Hadoop 作业客户端提交 Hadoop 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12456344/

37 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com