hadoop - 双冒号在 Pig 中到底是什么意思？

Question

当我使用 DESCRIBE 时，我在 Pig 输出中看到很多双冒号，但它们的含义并不明显。

例如，在分组和展平之后，我看到类似这样的内容:

key::observerId:chararray,key::endpoint:chararray,...

在某些时候，我按 observerId 和端点分组，将组元组重命名为“键”，然后重新展平。那么，双冒号到底是什么意思，我应该如何引用第一个关系(key？observerId？)

Answer 1

在您的问题中，:: 是消除歧义的运算符，它用于在 JOIN、COGROUP、CROSS 或 FLATTEN 运算符之后识别字段名称。您可以找到使用消除歧义运算符的示例 here .

在您的情况下，您有两个字段 observerID 和端点，它们都由键别名标识，这意味着 observerID 和端点都在同一别名中引用，而可能有其他“observerID 和端点”引用其他“键”别名.

我想你用过如下的东西:

key      = some_statement_with_observerID_and_endpoint
otherkey = some_statement_with_observerID_and_endpoint

基于此，您会看到如下所示的内容:

key::observerId:chararray,key::endpoint:chararray,...

上面这句话意味着您看到的 observerID 和端点是 key 别名的一部分，而不是其他 key 别名。