gpt4 book ai didi

regex - Apache Hive regEx serde : data types

转载 作者:行者123 更新时间:2023-12-04 23:51:21 26 4
gpt4 key购买 nike

对于处理日志,我想使用 Apache Hive regEx serde,但我只找到了使用 String 作为表列数据类型的示例。

现在我的问题是:是否支持基于日期的类型、整数和数组,还是只是字符串?

此示例(和其他示例)仅使用字符串:

CREATE TABLE access_log (
remote_ip STRING,
request_date STRING,
method STRING,
request STRING,
protocol STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "([^ ]) . . [([^]]+)] \"([^ ]) ([^ ]) ([^ \"])\" *",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s"
)
STORED AS TEXTFILE

;

最佳答案

  • 引用SERDE的代码:code of RegexSerDegithub - RegexSerDe code ,
    所有列都必须是 STRING 类型。 -- 来自程序评论
  • 如果你想对它做一些调整,写一些自定义的 Serde 代码(如果你擅长 java,然后继续)并像这个例子一样添加一个自定义的 serde jar csv custom serde
  • 如果不是,则让列类型仅为 STRING,并且当您想对任何列进行操作时,请在查询中使用 Casting( 配置单元 中的 cast() 函数)。

  • 希望这可以帮助 :)

    关于regex - Apache Hive regEx serde : data types,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21342510/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com