hadoop - 使用 Hive 自定义输入格式

Question

更新:好的，事实证明下面的方法不起作用是因为我使用的是较新版本的 InputFormat API ( import org.apache.hadoop.mapred 是旧的，import org.apache.hadoop.mapreduce 是新的)。我遇到的问题是将现有代码移植到新代码。有没有人有使用旧 API 编写多行 InputFormat 的经验？

---

尝试使用 Hadoop/Hive 处理 Omniture 的数据日志文件。文件格式是制表符分隔的，虽然在大多数情况下非常简单，但它们确实允许您在一个字段中有多个换行符和制表符，这些换行符和制表符由反斜杠转义(\\n 和 \\t).因此，我选择创建自己的 InputFormat 来处理多个换行符，并在 Hive 尝试对选项卡进行拆分时将这些选项卡转换为空格。我刚刚尝试将一些示例数据加载到 Hive 中的表中，但出现以下错误:

CREATE TABLE (...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
STORED AS INPUTFORMAT 'OmnitureDataFileInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat';

FAILED: Error in semantic analysis: line 1:14 Input Format must implement InputFormat omniture_hit_data

奇怪的是我的输入格式确实扩展了 org.apache.hadoop.mapreduce.lib.input.TextInputFormat ( https://gist.github.com/4a380409cd1497602906 )。

Hive 是否需要您改为扩展 org.apache.hadoop.hive.ql.io.HiveInputFormat？如果是这样，我是否必须为 InputFormat 和 RecordReader 重写任何现有的类代码，或者我是否可以有效地只更改它扩展的类？

Answer 1

在查看了 LineReader 和 TextInputFormat 的代码后发现了这一点。创建了一个新的 InputFormat 和一个 EscapedLineReader 来处理这个问题。

https://github.com/msukmanowsky/OmnitureDataFileInputFormat