apache-pig - Pig - 日期字符串到长转换

Question

我在源文本文件中有一些日期值，如下面的第 3 列

123|text|2000-02-05 01:00:00-0500|true

如何将它们转换为 Pig 拉丁语中相应的 long 值？谢谢。

a = load 'test.txt';
b = <what should be here>(a);
dump b; --output contains long value for column 3

Answer 1

您可以使用来自 Piggybank 的 UDF使用 CustomFormatToISO UDF 将日期字符串转换为 ISO 格式然后使用 ISOToUnix UDF 将 ISO 格式的日期转换为 Unix 毫秒.

从 pig 0.11 开始，您可以使用 DateTime 类型并调用 ToUnixTime内置 UDF。

您也可以针对该问题编写自己的 UDF，这真的很简单。