- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在使用 Hadoop 的 map reduce 函数编写倒排索引创建器。我的输入文件中的某些行已将字符\n 作为实际字符写入其中(不是 ASCII 10,而是两个实际字符“\”和“n”)。出于某种我不明白的原因,这似乎导致 map 函数将我的行分成两行。
这是我的一些文件中的一些示例行。
32155: Wyldwood Radio: On the Move WILL begin on Friday May 1st, as originally planned!\n\nWe had some complications with... http://t.co/g8STpuHn5Q
5: RT @immoumita: #SaveJalSatyagrahi\nJal Satyagraha 'holding on to the truth by water' https://t.co/x3XgRvCE5H via @4nks
15161: RT @immoumita: #SaveJalSatyagrahi\nJal Satyagraha 'holding on to the truth by water' https://t.co/x3XgRvCE5H via @4nks
这是输出:
co :78516: tweets0001:30679;2, ... , tweets0001:We had some complications with... http;1, ...
x3XgRvCE5H :2: tweets0000:Jal Satyagraha 'holding on to the truth by water' https;2
下面是我的 map reduce:
map
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> {
private final static Text word = new Text();
private final static Text location = new Text();
public void map(LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
String line = value.toString();
int colon_index = line.indexOf(":");
if(colon_index > 0)
{
String tweet_num = line.substring(0,colon_index);
line = line.substring(colon_index + 1);
StringTokenizer tokenizer = new StringTokenizer(line," !@$%^&*()-+=\"\\:;/?><.,{}[]|`~");
FileSplit fileSplit = (FileSplit)reporter.getInputSplit();
String filename = fileSplit.getPath().getName();
location.set(filename + ":" + tweet_num);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
output.collect(word, location);
}
}
}
减少
public static class Reduce extends MapReduceBase implements Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
boolean first = true;
int count = 0;
StringBuilder locations = new StringBuilder();
HashMap<String,Integer> frequencies = new HashMap<String, Integer>();
while (values.hasNext()) {
String location = values.next().toString();
if(frequencies.containsKey(location)){
int frequency = frequencies.get(location).intValue() + 1;
frequencies.put(location,new Integer(frequency));
}
else{
frequencies.put(location,new Integer(1));
}
count++;
}
for(String location : frequencies.keySet()){
int frequency = frequencies.get(location).intValue();
if(!first)
locations.append(", ");
locations.append(location);
locations.append(";"+frequency);
first = false;
}
StringBuilder finalString = new StringBuilder();
finalString.append(":"+String.valueOf(count)+": ");
finalString.append(locations.toString());
output.collect(key, new Text(finalString.toString()));
}
}
一般的数据流是将每一行映射到一个 {Word,filename:line_number} 对,然后通过计算它出现的频率来减少这些对。输出应该是:
Word-->:occurences:filename1:line_number:occurences_on_this_line, filename2....
map reduce 部分工作得很好,你甚至可以从我的示例中看到第 5 行和第 15161 行的推文都包含字符串 x3XgRvCE5H
,而且,因为我的 Mapper 在之前查找冒号附加一个行号并且这两条推文包含相同的文本,它们都映射到相同的索引位置,给出“频率”值 2。
所以,我的问题是:如何让 Hadoop 的输入格式不将字符“\n”读取为换行符?毕竟,它们不是 ASCII 10,即实际的换行符、换行符,而是两个单独的字符。
最佳答案
您必须扩展 FileInputFormat
并编写一个新类来覆盖该行为。例如:
public class ClientTrafficInputFormat extends FileInputFormat {
@Override
public RecordReader createRecordReader(InputSplit split, TaskAttemptContext context)
throws IOException, InterruptedException {
return new ClientTrafficRecordReader();
}
}
RecordReader 也应该被覆盖
public class ClientTrafficRecordReader extends
RecordReader<ClientTrafficKeyWritable, ClientTrafficValueWritable> {
...
private LineRecordReader reader = new LineRecordReader(); // create your own RecordReader this is where you have to mention not to use '\n' but it should be read as "\"and "n"
@Override
public void initialize(InputSplit is, TaskAttemptContext tac) throws IOException,
InterruptedException {
reader.initialize(is, tac);
}
...
@Override
public boolean nextKeyValue() throws IOException, InterruptedException {
//customize your input
}
关于java - 如何让 hadoop 忽略\n 输入文件中的字符?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30498165/
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求提供代码的问题必须表现出对所解决问题的最低限度理解。包括尝试过的解决方案、为什么它们不起作用,以及预
为什么在 C# 中添加两个 char 结果是 int 类型? 例如,当我这样做时: var pr = 'R' + 'G' + 'B' + 'Y' + 'P'; pr 变量变为 int 类型。我希望它是
下面的代码可以编译,但 char 类型的行为与 int 类型的行为不同。 特别是 cout ::ikIsX >() ::ikIsX >() ::ikIsX >() using names
我正在寻找一个正则表达式,它可以匹配长度为 1 个或多个字符但不匹配 500 的内容。这将在 Rails 路由文件中使用,特别是用于处理异常。 路线.rb match '/500', to: 'err
对于 C 编程作业,我正在尝试编写几个头文件来检查所谓的“X 编程语言”的语法。我最近才开始,正在编写第一个头文件。这是我编写的代码: #ifndef _DeclarationsChecker_h_
为什么扩展的 ascii 字符(â、é 等)被替换为 字符? 我附上了一张图片...但我正在使用 PHP 从 MySQL 中提取数据,其中一些位置有扩展字符...我使用的是 Arial 字体。 您可以
我有一个与 R 中的断线相关的简单问题。 我正在尝试粘贴,但在获取(字符/数字)之间的断线时遇到问题。请注意,这些值包含在向量中(V1=81,V2=55,V3=25)我已经尝试过这段代码: cat(p
如何将 ANSI 字符 (char) 转换为 Unicode 字符 (wchar_t),反之亦然? 是否有用于此目的的任何跨平台源代码? 最佳答案 是的,在 中你有mbstowcs()和 wcsto
函数 fromCharCode 不适用于国际 ANSI 字符。例如,对于 ID 为 192 到 223 的俄语 ANSI (cp-1251) 字符,它返回特殊字符。如何解决这个问题? 我认为,需要将A
如果不喜欢,我想隐藏 id,但不起作用 SELECT * FROM character, character_actor WHERE character.id NOT LIKE character_a
现在这个程序成功地反转了键盘输入的单词。但是我想在我反转它之前“保存”指针中的单词,所以我可以比较两者,反转的和“原始的”,并检查它们是否是回文。我还没有太多经验,可能会出现比我知道的更多的错误,但我
Memcpy 和 memcmp 函数可以接受指针变量吗? char *p; char* q; memcpy(p,q,10); //will this work? memcmp(p,q,10); //w
恐怕我对一个相当过饱和的主题的细节有疑问,我搜索了很多,但找不到一个明确的答案来解决这个特定的明显-imho-重要的问题: 使用UTF-8将byte[]转换为String时,每个字节(8bit)都变成
我有一个奇怪的问题。我需要从 stat 命令打印输出字符串。 我已经编写了获取一些信息的代码。 import glob import os for file in glob.glob('system1
我正在使用 Java 并具有其值如下所示的字符串, String data = "vale-cx"; data = data.replaceAll("\\-", "\\-\\"); 我正在替换其中的“
String urlParameters = "login=test&password=te&ff"; 我有一个String urlParams,& - 是密码的一部分,如何使其转义,从而不被识别为分
大家好,我只想从此字符串中提取第一个字母: String str = "使 徒 行 傳 16:31 ERV-ZH"; 我只想获取这些字符: 使 徒 行 傳 并且不包括 ERV-ZH 仅数
这个问题已经有答案了: Crash or "segmentation fault" when data is copied/scanned/read to an uninitialized point
所以, 我有一个字符**;它本质上是一个句子,带有指向该句子中每个单词的指针;即 'h''i''\0''w''o''r''l''d''\0''y''a''y''!''\0' 在这种情况下,我希望使用可
这个问题在这里已经有了答案: Using quotation marks inside quotation marks (12 个答案) 关闭 7 年前。 如何打印 " 字符? 我知道打印 % 符号
我是一名优秀的程序员,十分优秀!