hadoop - 如何将 mapreduce 结果加载到 Hive 中？

Question

我有一个目录，我在其中存储格式为“(integer1, integer2, integer3)”的 mapreduce 结果，我想将该数据加载到 Apache Hive 中。

首先我创建这样的表:

创建表测试(field1 int, field2 int, field3 int);

后来我尝试以这种方式加载数据:

将路径'/user/myuser/output/test'中的数据加载到表test中；

路径没问题，表格加载了好几行，但都是空的(3个字段为NULL)。

我该如何解决？

Answer 1

轻松修复。在你的MR程序中按照以下格式写入数据

integer1,integer2,integer3

然后像这样创建你的表

CREATE TABLE mytable
(
a INT,
b INT,
c INT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ",";

如果由于某种原因您无法更改您的 MR 程序..您可以使用 Hive 删除括号并从您的原始输出创建一个新文件以遵循表格预期的格式(上面列出的格式)