适用于 Pig 的 Java UDF 日期正则表达式提取器？

Question

我正在尝试创建一个用于导入 Pig 的 UDF，该 UDF 与日期上的正则表达式模式匹配。正则表达式已经过测试并且可以正常工作，但是我在使用以下代码时遇到了问题:

package com.date.format;
import java.io.IOException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.pig.EvalFunc;
import org.apache.pig.data.Tuple;
public class DATERANGE extends EvalFunc<String> {

@Override
public String exec(Tuple arg0) throws IOException {
       try
        {
            String pattern = "(Oct\\W(?:1[5-9]|2[0-3])\\W(?:(?:0?9|10):\\d{2}:\\d{2}|11:00:00))";
            Pattern pat = Pattern.compile(pattern);
            Matcher match = pat.matcher((String) arg0.get(0));
            if(match.find())
            {
                return match.group(0);
            }
            else return "none";
        }
        catch(Exception e)
        {
            throw new IOException("Caught exception processing input row ", e);
        }
    }
}

编译上述 java 代码并将其导出为 jar 并使用以下 Pig 脚本在 Hadoop 中运行它:

register 'DATEFormat.jar';

ld = LOAD 'dates/date_data_three' AS (date:chararray);
loop = foreach ld generate com.date.format.DATERANGE(date) as d:chararray;
dump loop;

我收到以下错误:

ERROR 2078: Caught error from UDF: com.date.format.DATERANGE [Caught exception   
processing  input row ]
org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1066: Unable to open iterator     
for alias loop
at org.apache.pig.PigServer.openIterator(PigServer.java:912)
at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:752)
at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372)
at org.apache.pig.tools.grunt.GruntParser.loadScript(GruntParser.java:566)
at org.apache.pig.tools.grunt.GruntParser.processScript(GruntParser.java:513)
at          org.apache.pig.tools.pigscript.parser.PigScriptParser.
Script(PigScriptParser.java:1014)    
at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:550)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:228)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:203)
at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66)
at org.apache.pig.Main.run(Main.java:542)
at org.apache.pig.Main.main(Main.java:156)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: org.apache.pig.PigException: ERROR 1002: Unable to store alias loop
at org.apache.pig.PigServer.storeEx(PigServer.java:1015)
at org.apache.pig.PigServer.store(PigServer.java:974)
at org.apache.pig.PigServer.openIterator(PigServer.java:887)
... 16 more

数据文件包含日期，如下所示:

Wed Oct 15 09:26:09 BST 2014
Wed Oct 15 19:26:09 BST 2014
Wed Oct 18 08:26:09 BST 2014
Wed Oct 23 10:26:09 BST 2014
Sun Oct 05 09:26:09 BST 2014
Wed Nov 20 19:26:09 BST 2014

有人知道为 Pig 实现 Java UDF 的正确方法吗？它可以与我提供的正则表达式一起使用？

谢谢

Answer 1

我建议您使用REGEX_EXTRACT内置命令，这将非常简单，而不是编写UDF。

ld = LOAD 'input.txt' AS (date:chararray);
loop = foreach ld generate REGEX_EXTRACT(date,'(Oct\\W(?:1[5-9]|2[0-3])\\W(?:(?:0?9|10):\\d{2}:\\d{2}|11:00:00))',1) as d:chararray;
C = FILTER loop by d is not null;
D = FOREACH C GENERATE $0;
DUMP D;

输出:

(Oct 15 09:26:09)
(Oct 23 10:26:09)

你的正则表达式 UDF 对我来说也工作得很好。我刚刚复制了您的输入和java代码并在本地执行。它工作完美。请参阅以下我从您的 UDF 代码中获得的输出。我想您可能需要检查您的类路径是否正确设置。

(Oct 15 09:26:09)
(none)
(none)
(Oct 23 10:26:09)
(none)
(none)