Scala 2.12.10 与 Spark 3.0.0 : What does "data.map(Tuple1.apply)" do?

Question

我在 Spark 3.0.0 中使用 Scala 2.12.10 进行 PCA 分析。我无法理解 Scala 的一些细微差别，而且我对 Scala 编程还很陌生。

这样定义数据之后:

val data = Array(
            Vectors.sparse(5, Seq((1, 1.0), (3, 7.0))),
            Vectors.dense(2.0, 0.0, 3.0, 4.0, 5.0),
            Vectors.dense(4.0, 0.0, 0.0, 6.0, 7.0)
        )

数据框是这样创建的:

val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")

我的问题是:data.map(Tuple1.apply) 做了什么？我猜让我感到困扰的是 apply 没有参数这一事实。

提前致谢!也许有人也可以向我推荐一本很好的初学者 Scala/Spark 书，以便我的问题将来可以更好？

Answer 1

它生成一个包含 1 个元素的元组，toDF 可以将其用作输入以创建具有 1 列向量类型的 Dataframe。仅此而已，但非常方便。

一些引用资料 https://mungingdata.com/apache-spark/best-books/ .我发现 Databricks 类(class)过于简单并且省略了相关方面。存在一些不错的网站:https://sparkbyexamples.com/ https://www.waitingforcode.com/后者以低廉的成本提供了很好的类(class)。

在 Scala apply 上，SO What is the apply function in Scala? 也有一个很好的答案