gpt4 book ai didi

java - hadoop - Hadoop jar 输入路径问题

转载 作者:可可西里 更新时间:2023-11-01 15:01:32 25 4
gpt4 key购买 nike

我遇到的问题是 hadoop jar 命令需要 输入路径,但我的 MapReduce 作业从数据库获取输入,因此不需要/没有输入目录。我已将 JobConf 输入格式设置为 DBInputFormat,但在干扰我的工作时如何表示这一点?

//Here is the command
hadoop jar <my-jar> <hdfs input> <hdfs output>

我有一个输出文件夹,但不需要输入文件夹。有没有办法规避这个?我是否需要编写第二个程序来将数据库数据提取到一个文件夹中,然后在 MapReduce 作业中使用它?

最佳答案

hadoop jar 命令不需要命令行参数,可能主类除外。 map/reduce 作业的命令行参数将由程序本身决定。因此,如果它不再需要 HDFS 输入路径,那么您需要更改代码以不再需要它。

public class MyJob extends Configured implements Tool
{
public void run(String[] args) throws Exception {
// ...
TextInputFormat.setInputPaths(job, new Path(args[0])); // or some other file input format
TextOutputFormat.setOutputPath(job, new Path(args[1]));
}
}

因此您将删除输入路径语句。将工作 JAR 起来并没有什么魔力,只需更改 InputFormat(你说你做了),你就应该设置好了。

关于java - hadoop - Hadoop jar 输入路径问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19235045/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com