logging - 解析 HIVE 中的自定义日志

Question

我是 HIVE 的新手。我有一个由“\t”分隔的日志文件，例子:A\tB\tC\tD\tE\tF ...

我想在上面创建一个外部表，我可以使用 [FIELD SEPERATED BY "\t"] 但是

• 我不需要所有的列，我只需要几个列，例如 1,3
• 一列为负值，我希望将其转换为正值。

Answer 1

假设您的日志文件中有以下数据(以“\t”分隔):

a   123 b   c   d
x   -12 y   z
o   1   q

对于第一个要求，默认的 Hive 加载器将读取您指定的列。例如，

CREATE EXTERNAL TABLE IF NOT EXISTS test (
c1 STRING, c2 INT, c3 STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION '/user/joe/test';

我们使用上面的语句创建一个表test。如果某行是 a\t123\tb\tc\td，Hive 将只使用前 3 列。所以你可以使用这个特性来削减行尾无用的列。如果只需要使用“c2”和“c3”，可以在test表中选择这两列，忽略“c1”。

对于第二个需求，可以使用ABS。例如，

select c1, ABS(c2), c3 from test;

以上语句会输出如下数据:

a   123 b
x   12  y
o   1   q