hadoop - 在 PIG 中如何删除相似值

Question

在我的 pig 脚本中，我有一个 country1 和 country2 的列以及一个 id。在我的国家/地区字段中，一些值类似于以下内容。如何过滤掉至少有 2 个连续相同字符的相似值？

例如:

a = load file
a = generate id, country1, country2

输出:

id1, us, usa
id2, gb, gba
id3, in, ind
id4, in, usa

expected output:
id4, in, usa

Answer 1

使用SUBSTRING获取第 3 列的前两个字符并将其与第 2 列的值进行比较。

B = FILTER A BY (LOWER(A.$1) != SUBSTRING(LOWER(A.$2),0,2));
DUMP B;