filter - pig 中的过滤器匹配太多

Question

我有一个过滤关键字列表(大约 1000 个)，我需要使用这个列表过滤 pig 中的一个关系字段。

最初，我将这些关键字声明为:%declare p1 '.keyword1.';.......

%declare p1000 '.keyword1000.';

我然后像这样进行过滤:

Filtered= FITLER SRC BY (not $0 matches '$p1') and (not $0 matches '$p2') and ...... (not $0 matches '$p1000');

DUMP 过滤；

假设我的源关系在 SRC 中，我需要在第一个字段(即 $0)上应用过滤。

如果我将过滤器的数量减少到 100-200，它工作正常。但随着过滤器数量增加到 1000。它不起作用。

有人可以建议解决方法以获得正确的结果吗？

提前致谢

Answer 1

您可以编写一个简单的过滤器 UDF，您可以在其中执行所有检查，例如:

 package myudfs;
 import java.io.IOException;
 import org.apache.pig.FilterFunc;
 import org.apache.pig.data.Tuple;

 public class MYFILTER extends FilterFunc
 {
    static List<String> filterList;
    static MYFILTER(){
        //load all filters
    }
    public Boolean exec(Tuple input) throws IOException {
        if (input == null || input.size() == 0)
            return null;
        try{
            String str = (String)input.get(0);
           return !filterList.contains(str);
        }catch(Exception e){
            throw new IOException("Caught exception processing input row ", e);
        }
    }

  }