hadoop - 我将如何制作一个只返回条目超过一定长度的字段的 pig 脚本？

Question

我拥有的数据已经字段化，我只想要一个包含两个字段的文档，即便如此，如果标题字段超过一定长度，它也只包含一个条目。这是我目前所拥有的。

records = LOAD '$INPUT' USING PigStorage('\t') AS (url:chararray, title:chararray, meta:chararray, copyright:chararray, aboutUSLink:chararray, aboutTitle:chararray, aboutMeta:chararray, contactUSLink:chararray, contactTitle:chararray, contactMeta:chararray, phones:chararray);
E = FOREACH records IF SIZE(title)>10 GENERATE url,title;
STORE E INTO '$OUTPUT/phoneNumbersAndTitles';

为什么代码在 IF 处退出？

Answer 1

你应该使用 FILTER , 它根据某些条件从关系中选择元组:

filtered = FILTER records BY SIZE(title) > 10;
E = FOREACH filtered GENERATE url,title;