hadoop - 我可以自定义InputSplit以根据异常结束进行拆分

Question

我有一个包含大量异常的大日志文件，我想编写一个自定义输入格式，以异常作为键，以异常文本作为值，我还想创建自定义拆分，以便每个映射器都能获取所有异常。

我试图创建一个自定义记录读取器，但是问题是我不知道如何创建一个自定义Get Splits方法。

Answer 1

I want to write a custom input format that gives the exception as the key and the exception text as value

足够简单-自定义记录读取器。

also i want to create custom splits so that every mapper gets all of the exception

这不是MapReduce通常的工作方式。

but the problem is that I do not know how to create a custom GetSplits method

这是在 InputFormat类中完成的，并且有很多示例。