hadoop - 如何将hdfs中的现有文本数据转换为Avro？

Question

我在hdfs中有一个以文本格式存储的表，所以现在我需要在两者之间添加新列。因此，我想在Avro中加载新列，因为Avro支持模式演变，但是现在以前的数据仍然是文本格式。

Answer 1

如果您已有表，则可以将其直接从hive加载到avro表中；如果没有，则可以为该文本文件创建hive表并将其加载到avro表中。
就像是

create table test(fields type)  row format delimited fields terminated by ',' stored as textile location 'textfilepath';
create table avrotbl like test stored as avrofile;
insert into abrotbl select * from test;