hadoop - pig 如何过滤不同的夫妇(对)

Question

我是 Pig 的新手。我有一个 Pig 脚本，它在两个元素之间生成制表符分隔的对。每行一对，例如:

John   Paul
Tom    Nik
Mark   Bill
Tom    Nik
Paul   John

我需要过滤掉重复的组合。如果我使用 DISTINCT，我会过滤掉双“Tom Nik”条目。结果是:

John   Paul
Tom    Nik
Mark   Bill
Paul   John

这种方法的问题在于，我只剩下“John Paul”和“Paul John”，就我的目的而言，它们应该被视为相同(相同的组合)。有没有办法删除排列组合？

Answer 1

我不确定字符串比较在 Pig 中是如何实现的，但尝试类似的东西可能是值得的:

-- A is your input
B = FOREACH A GENERATE FLATTEN(($0 < $1 ? ($0, $1) : ($1, $0))) ; 
C = DISTINCT B ;

通过对名称进行排序，使“较小的”始终首先出现 John Paul 和 Paul John 现在应该处于相同的顺序，从而使 DISTINCT 消除一个。

但是，这种方法完全取决于字符串比较的实现方式。例如，如果它比较长度，则 John Paul 案例将不会被正确过滤。