hadoop - hadoop(PIG/MapReduce)如何处理非结构化文本数据

Question

我正在处理非结构化文本文件。我想通过hadoop处理它
但是我从文件.pls帮助中提取所需数据时遇到问题。

我的文件看起来像:


我期望输出像;

Answer 1

众所周知，MapReduce可以忽略无效数据，至少您可以实现自己的map来做到这一点。

例如，定界符为\n，应接受具有指定格式的每一行，否则将被忽略。在这种情况下，每行包含6列，并以空格分隔。
//map
@Override
public void map(K key, V value, Context context)
throws IOException, InterruptedException
{
// value contains line content,
// verify value, only those valid lines should be accepted.
}