hadoop - 使用Pig Latin从文件中获取最大日期

Question

我有一个带有日期和其他一些列的文本文件。
日期列值的格式为“yyyy-MM-dd HH:mm:ss”。

我想从文本文件中获取最大日期或最新日期。
(注意:我看到MAX函数仅在Pig Latin中的GROUP BY时有效)

谁能建议使用Pig Latin或其他替代方法来获得这种效果吗？

Answer 1

根据样本数据集，

Apple|$600|2009-01-14 00:00:00| 
Apple|$650|2010-12-16 10:20:20| 
Banana|$800|2019-12-14 00:00:00| 
Banana|$800|2016-11-11 01:45:03|

可以使用以下方法检索日期列中的最大值

fruits = LOAD 'fruits.txt' using PigStorage('|');
dt = FOREACH fruits GENERATE ToDate($2, 'yyyy-MM-dd HH:mm:ss');
odt = ORDER dt by $0 DESC;
max = LIMIT odt 1;
dump max;