- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在hadoop上写一个项目。我有一个一维字符串数组。它的名称是“words”。
想要将其发送到 reducer ,但出现此错误:
Exception in thread "main" java.lang.NoSuchMethodError:org.apache.hadoop.mapred .InputSplit.write(Ljava/io/DataOutput;)V
public abstract class Mapn implements Mapper<LongWritable, Text, Text, Text>{
@SuppressWarnings("unchecked")
public void map(LongWritable key, Text value, Context con) throws IOException, InterruptedException
{
String line = value.toString();
String[] words=line.split(",");
for(String word: words )
{
Text outputKey = new Text(word.toUpperCase().trim());
con.write(outputKey, words);
}
}
}
最佳答案
当我学习hadoop
mapreduce
工具时,除了编写传统的WordCount
程序外,我还编写了自己的程序,然后为此导出了jar。现在好了,我正在共享使用hadoop-1.2.1
jar依赖关系为其编写的程序。它用于转换数字并将其写在单词中,并且在4个lacs数字上进行了处理,没有任何错误。
所以这是程序:
package com.whodesire.count;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import com.whodesire.numstats.AmtInWords;
public class CountInWords {
public static class NumberTokenizerMapper
extends Mapper <Object, Text, LongWritable, Text> {
private static final Text theOne = new Text("1");
private LongWritable longWord = new LongWritable();
public void map(Object key, Text value, Context context) {
try{
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
longWord.set(Long.parseLong(itr.nextToken()));
context.write(longWord, theOne);
}
}catch(ClassCastException cce){
System.out.println("ClassCastException raiseddd...");
System.exit(0);
}catch(IOException | InterruptedException ioe){
ioe.printStackTrace();
System.out.println("IOException | InterruptedException raiseddd...");
System.exit(0);
}
}
}
public static class ModeReducerCumInWordsCounter
extends Reducer <LongWritable, Text, LongWritable, Text>{
private Text result = new Text();
//This is the user defined reducer function which is invoked for each unique key
public void reduce(LongWritable key, Iterable<Text> values,
Context context) throws IOException, InterruptedException {
/*** Putting the key, which is a LongWritable value,
putting in AmtInWords constructor as String***/
AmtInWords aiw = new AmtInWords(key.toString());
result.set(aiw.getInWords());
//Finally the word and counting is sent to Hadoop MR and thus to target
context.write(key, result);
}
}
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
/****
*** all random numbers generated inside input files has been
*** generated using url https://andrew.hedges.name/experiments/random/
****/
//Load the configuration files and add them to the the conf object
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
Job job = new Job(conf, "CountInWords");
//Specify the jar which contains the required classes for the job to run.
job.setJarByClass(CountInWords.class);
job.setMapperClass(NumberTokenizerMapper.class);
job.setCombinerClass(ModeReducerCumInWordsCounter.class);
job.setReducerClass(ModeReducerCumInWordsCounter.class);
//Set the output key and the value class for the entire job
job.setMapOutputKeyClass(LongWritable.class);
job.setMapOutputValueClass(Text.class);
//Set the Input (format and location) and similarly for the output also
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
//Setting the Results to Single Target File
job.setNumReduceTasks(1);
//Submit the job and wait for it to complete
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
关于java - 如何修复NoSuchMethodError:org.apache.hadoop.mapred.InputSplit.write,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48043029/
我正在执行 UPDATE .WRITE() 语句,并发现它显然只有在您像这样定义它时才有效: string sql = "UPDATE [dbo].[Table] SET [Column].WRITE
我在 Unix 系统上用 C 编程。我知道: write(fd,"ABCD",4); 比这样做更好: write(fd, "A", 1); write(fd, "B", 1); write(fd, "
func hash(s string) uint32 { h := fnv.New32a() h.Write([]byte(s)) return h.Sum32() } 对于这
在经典的 asp 页面中,有人告诉我您可以使用 vbscript 或 jscript。而 jscript 就是 javascript。 所以我不确定 Response.Write、Response.W
当 openssl 子进程尝试 write() 到本地目录时,我收到此错误。在调用 write() 之前连接已关闭。它没有与 ssl 连接,因为我什至无法从 nodejs 文档启动示例代码。 我错过了
最近我在试验netty。我遇到了以下问题: ctx.channel().write(new TextWebSocketFrame("hello")) 没有在客户端返回 hello,但是 ctx.cha
请解释以下内容: def feed(data): import os print "DATA LEN: %s" % len(data) f = open("copy", "w") f.
有什么区别debug.write 和 Trace.write ?每个应该什么时候使用? 最佳答案 在典型的发布构建配置中,Debug class 被禁用并且什么都不做。 Trace但是,仍然可以在发行
我只是想知道,就性能而言,哪个更好(我在 FileStream 中使用 StreamWriter): 多次调用 Stream.Write(): StreamWriter sw = new Stream
我发现自己写给 stringwriter,然后在函数末尾执行 resp.Write(sw.ToString())。这是不必要的吗?如果我多次使用 HttpResponse.Write,即使我的页面是
我正在尝试通过 JavaScript 文件从 electron 打开一个新窗口,它可以工作,并打开了新窗口,但我无法将 HTML/文本写入新文件。我收到那个错误: Cannot read proper
我们对 QIODevice::write 的一般行为和具体的 QTcpSocket 实现感到非常困惑。有一个 similar question已经,但答案并不令人满意。主要的混淆源于分别提到的 byt
我知道这听起来像是一个愚蠢的问题: write(*,*) 和 write(6,*) ?我在我研究所的 super 计算机上运行一个复杂的代码,它通过一个不同于 6 的单元号输出一个数据文件,显然编译的
我有一个结构体,它可以通过一系列复杂的方法调用转换为文本,其中包含大量 write!调用。此文本可以写入文件或调试日志。我正在决定是否使用 fmt::Write 或 io::Write .我不能真正使
已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。 这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top
In the C standard library, an output can't be followed by an input and vice versa. 对于Linux API,可以在re
我希望能够为一件事做 document.write。然后延迟半秒,然后再记录。写一些。你知道这是否可能吗?而且,如果是这样,怎么办?到目前为止,我已经尝试过了,但没有奏效: document.writ
为什么通过 onclick 属性调用的 write() 函数解析为 document.write() 并替换文档?有什么办法可以阻止这种情况发生吗? Write Function Alternat
我想创建一个包含多个“页面”的文本文件,并将每个页面的字节偏移量记录在一个单独的文件中。为此,我将字符串打印到主输出文件并使用 bytes_written += file.write(str) 计算字
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 8 年前。 Improve this qu
我是一名优秀的程序员,十分优秀!