hadoop - PIG - 将输入日期转换为 UTC 时区

Question

我有一个 PST 格式的日期输入文件

example => 2014-02-04 05:46:36.0

我需要使用 pig 语法将此日期转换为 UTC。我尝试使用 ToDate(input_date_column,'yyyy-MM-dd HH:mm:ss.SS','UTC') 但它不起作用。

Error shown - java.lang.IllegalArgumentException: Invalid format: ""2014-02-04 05:46:36.0""

感谢任何帮助:)

Answer 1

我真的找不到这个的构建方法

所以我写了一个用户定义的函数并将它用到我的 pig 脚本中

它是这样的-

public class convertToUTC extends EvalFunc<String> {
        @Override
        public String exec(final Tuple input) throws IOException {
            if (input == null || input.size() == 0) {
                return null;
            }
            try {
                String date = input.get(0).toString();
                Timestamp timestamp = Timestamp.valueOf(date);
                Calendar calendar = Calendar.getInstance();
                calendar.setTime(timestamp);
                calendar.add(Calendar.HOUR, 8);
                Timestamp UTCTimestamp = new Timestamp(calendar.getTime().getTime());
                return UTCTimestamp.toString();
            }
            catch (Exception e) {
                throw WrappedIOException.wrap("Caught exception processing input row ", e);
            }
        }
    }