hadoop - 在 Hadoop Pig 的一个元组中查找元素，但在另一个元组中找不到元素

Question

我有两个元组(字符串和大元组——每个都有几百万个字符串)，我想在一个元组中查找元素，但不在 Hadoop Pig 中的另一个元组中查找。想知道是否有好的代码引用？

示例输入，

tuple 1: (Hello, World, Hadoop, Pig, Stackoverflow)
tuple 2: (Hello, World, Hadoop, Spark, Python)

示例输出，

(Pig, Stackoverflow)

提前致谢，林

Answer 1

这样做的一种方法是将该元组变成一袋元组，每个字符串都是一个独立的元组。然后就可以在http://datafu.incubator.apache.org/docs/datafu/guide/set-operations.html处使用集差操作了找到一组中的字符串而不是另一组中的字符串。