- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我编写了一个自定义分区程序,但无法将其设置到主类中的 JobConf
对象。
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
public class FirstCharTextPartitioner extends Partitioner<Text, Text> {
@Override
public int getPartition(Text key, Text value, int numReduceTasks) {
return (key.toString().charAt(0)) % numReduceTasks;
}
}
但是当我尝试将其设置为 JobConf
对象时,出现以下错误。
类型 JobConf 中的方法 setPartitionerClass(Class) 不适用于参数 (Class)
public class WordCount {
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
String line = value.toString();
String[] tokens = line.split("\\s");
for (String token : tokens) {
word.set(token);
output.collect(word, one);
}
}
}
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
int sum = 0;
while (values.hasNext()) {
sum += values.next().get();
}
output.collect(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(IntWritable.class);
conf.setMapperClass(Map.class);
conf.setCombinerClass(Reduce.class);
conf.setReducerClass(Reduce.class);
conf.setPartitionerClass(FirstCharTextPartitioner.class);
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));
JobClient.runJob(conf);
}
}
有人可以告诉我我做错了什么吗?
最佳答案
您正在导入新 org.apache.hadoop.mapreduce.Partitioner
。
您需要实现旧接口(interface) org.apache.hadoop.mapred.Partitioner
,如下所示:
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.Partitioner;
public class FirstCharTextPartitioner implements Partitioner<Text, Text> {
@Override
public int getPartition(Text key, Text value, int numReduceTasks) {
return (key.toString().charAt(0)) % numReduceTasks;
}
}
关于hadoop - 无法将 partitoner 设置为 JobConf 对象,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14193646/
我在下面提到一个简单的mapR程序的驱动程序代码 import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWrit
当mapred.user.jobconf.limit设置为5MB时,如何在作业跟踪器中具有66MB的作业配置? $ ls -lh /mapred/jt/jobTracker/job_201309061
我有一个使用大量输入路径的 map reduce 作业。因此,我在开始工作时遇到了这个异常: 超过最大 jobconf 大小:6154861 限制:5242880 我意识到最大 jobconf 大小由
我正在编写 hadoop 程序,我真的不想玩弃用的类。我在网上的任何地方都找不到更新的程序 org.apache.hadoop.conf.Configuration 类代替 org.apache.ha
我正在尝试将一个表从 MySQL 导入到 Hive。我测试过我正在与 MySQL 正确建立连接。现在所有的表数据也包装在 jar 中。然后在我得到这个 NoSuchMethodError 之后。我在
我是 hadoop 的新手。我不知道驱动程序类中的 jobConf 类在做什么。请解释创建 conf 对象的完整语句。 最佳答案 一般来说,它是一个 map/reduce 作业配置。查看此链接: ht
嗨,我想知道 jobconf 和工作对象之间的基本区别,目前我正在这样提交我的工作 JobClient.runJob(jobconf); 我看到了像这样提交工作的其他方式 Configuration
我有mapreduce作业,它需要比mapred-site.xml中设置的10mb当前值更多的值。我想暂时增加当前工作的值(value)。我可以在驱动程序类中设置它,例如'job.setXXXXXX(
我编写了一个自定义分区程序,但无法将其设置到主类中的 JobConf 对象。 import org.apache.hadoop.io.Text; import org.apache.hadoop.ma
我正在编写一个小型 Web 界面以允许用户提交 YARN 作业。我想让他们能够为自己的工作命名,以便日后观察他们的进展。 使用的 jar 总是相同的,它只是对不同的输入数据进行操作。目前我在我的 ru
我找不到提交不使用已弃用 JobConf 类的 Hadoop 作业的单个示例。尚未弃用的 JobClient 仍然只支持采用 JobConf 参数的方法。 谁能指出一个 Java 代码示例,该示例仅使
是否可以从 *mapred*.JobConf 创建一个有效的 *mapreduce*.TaskAttemptID? 背景 我需要为 ExistingFileInputFormat 编写一个 FileI
我对在 Java 中使用 Hadoop 框架还很陌生。我正在尝试为只有映射器的特定映射缩减作业设置 JobConf(缩减器没有真正的中间值)。我的映射器类在这里: public static clas
我使用以下语法创建了一个 Mapper: public class xyz extends MapReduceBase implements Mapper{ ----- public
大家好,我是 Hadoop 的新手,它是文件系统。我看到了使用 JobConf 和 Configuration 的两个不同的 WordCount 示例。它们有什么区别。 我研究过 JobConf 是旧
我正在尝试读取 HBase 表 TableMapReduceUtil 并将数据转储到 HDFS (不要问我为什么。这很奇怪,但没有任何其他选项)。因此,为了实现这一目标,我想通过reducer键来操作
我是一个新的 Hadoop 用户。我的程序是跳过 mapreduce 中的不良记录数据。我没有跳过坏数据,所以首先,我不想跳过数据,我想找出发生了哪个错误。因此,我添加了 mycustomrunjob
我正在尝试在 hue 中执行 mapreduce 作业。我收到以下错误: Failing Oozie Launcher, Main class [org.apache.oozie.action.had
我只是在 intellj IDE 中运行一个简单的 hadooop 程序。但是当我尝试编译时出现错误 $Error:(63, 40) java: incompatible types: org.apa
我是一名优秀的程序员,十分优秀!