hadoop - Apache Pig 0.8.1双NaN

Question

我有一个自定义的 pig 存储输入机制，该机制将一堆汇总统计值(如偏度，峰度，中位数等)放入元组。具体来说，这些数字假定为 double 数，因此将 double 数放置在元组中。

问题是，当偏度/峰度在Java端是NaN时，它们似乎映射到Pig中的NaN，即使我定义了元组模式来与它们一起工作，我也无法弄清楚如何使用它们“double”数据类型。

NaN似乎比最高的两倍高，因此按降序排列似乎将所有NaN放在首位。我尝试通过“偏斜度不为null”进行过滤，但这是行不通的。

文档和Google并没有告诉我很多有关如何使用这些值的信息。我需要能够使用这些数字。

谢谢!

Answer 1

NaN是“Not a Number”的缩写。 “使用这些数字”体现了一种将数字视为数字的基本误解。它们没有与数字有意义的可比性，因此没有正确的排序顺序。

您应该将它们过滤掉，或者找出它们来自何处并进行修复。可能导致NaN的事情是通过将总值除以元素数来计算空集的算术平均值。

如果没有直接可用的“isNaN”测试，则可以通过特殊属性检测到它们，即NaN不等于任何值，甚至不等于自身。