apache-spark - Spark Mllib kmeans 示例，使用数据框而不是 textFile

Question

我正在尝试在浮点数数据帧上运行 Spark (1.3.1) Mllib k-means 聚类。
我正在关注 Spark 提供的集群示例

https://spark.apache.org/docs/1.3.1/mllib-clustering.html

但是，我使用的是由一列 double 数组成的数据框，而不是文本文件(为简单起见)。根据 Mllib 文档，我需要将其转换为 Kmeans 函数的向量。到目前为止我有这个

    import org.apache.spark.mllib.linalg.Vectors
    val parsedData = data.map(s => Vectors.dense(s(0))).cache()

我收到错误

error: overloaded method value dense with alternatives:
(values: Array[Double])org.apache.spark.mllib.linalg.Vector and
(firstValue: Double,otherValues: Double*)org.apache.spark.mllib.linalg.Vector
cannot be applied to (Any)
val parsedData = sample2.map(s => Vectors.dense(s(1))).cache()
                                          ^

有没有更好的方法来做到这一点？

我读过这篇类似的帖子，但我觉得它不够相似:
How to turn a known structured RDD to Vector
还有这个 How to convert org.apache.spark.rdd.RDD[Array[Double]] to Array[Double] which is required by Spark MLlib
处理文本数据

Answer 1

关于什么:

val parsedData = data.rdd.map(s => Vectors.dense(s.getDouble(0))).cache()

如果数据是单列 double 的数据框，这应该可以工作。
如果您的数据框中有更多列，则只需添加更多获取，例如:

val parsedData = data.rdd.map(s => Vectors.dense(s.getDouble(0),s.getDouble(1))).cache()