java - 是否可以在 Apache Spark 中创建嵌套 RDD？

Question

我正在尝试在 Spark 中实现 K-最近邻算法。我想知道是否可以使用嵌套的 RDD。这会让我的生活轻松很多。考虑以下代码片段。

public static void main (String[] args){
//blah blah code
JavaRDD<Double> temp1 = testData.map(
    new Function<Vector,Double>(){
        public Double call(final Vector z) throws Exception{
            JavaRDD<Double> temp2 = trainData.map(
                    new Function<Vector, Double>() {
                        public Double call(Vector vector) throws Exception {
                            return (double) vector.length();
                        }
                    }
            );
            return (double)z.length();
        }    
    }
);
}

目前我在这个嵌套设置中遇到错误(我可以在这里发布完整的日志)。拳头处允许吗？谢谢

Answer 1

不，这是不可能的，因为RDD的项必须是可序列化的，而RDD是不可序列化的。这是有道理的，否则您可能会通过网络传输整个 RDD，如果它包含大量数据，这将是一个问题。如果它不包含大量数据，您可以并且应该使用数组或类似的东西。

但是，我不知道您是如何实现 K 近邻的……但要小心:如果您执行诸如计算每对点之间的距离之类的操作，这实际上在数据集大小上是不可扩展的，因为它是 O(n2)。