hadoop - 无法处理 PIG 中的时间序列数据

Question

我有时间序列数据，例如:2018-10-12 01:25:37 并从时间戳中提取日期 (2018-10-12) 和时间 (1:25:37)。现在的要求是根据特定条件过滤时间值(例如:用另一个包的原子过滤时间值，其中包含时间数据(hh:mm:ss))。 PIG 没有用于时间 (hh:mm:ss) 类型数据的“TIME”数据类型。在 PIG 中加载“时间”数据值需要什么数据类型？

Answer 1

提取日期(年、月、小时、分钟等)。使用了这些功能

对于年份: GetYear()

月份: GetMonth()

对于一天: GetDay()

小时: GetHour()

对于分钟: GetMinute()

date.txt
2018-10-12 11:15:43
2018-10-12 12:25:12
A = load 'date.txt' as (in:chararray);
B = foreach A generate ToDate(in,'yyyy-MM-dd HH:mm:ss') as (dt:DateTime);
C = foreach B {
      year = GetYear(dt);
      month = GetMonth(dt);
      day = GetDay(dt);
      hour = GetHour(dt);
      minute = GetMinute(dt);
    //finally you can concatenate year month and day or hour, time using CONCAT function
};