apache-spark - 使用 kotlin 编程 Apache spark 2.0

Question

我想在 Spark 2.0 中使用 kotlin 进行编程。

我添加了 spark 的 jar 文件，我可以在我的代码中使用 JavaSparkContext 但不能在 spark 2.0 中使用 kotlin。

当我像这样使用 SparkSession 时:

SparkSession sc = SparkSession.builder(). ...

我收到此错误: Unresolved reference :sparkSession

是否可以在 Spark 2.0 中使用 Kotlin 进行编程？如果是，我该怎么做？

Answer 1

Is it possible to use Kotlin for programming in Spark 2.0?

是的，它是一种 JVM 语言，具有非常好的 Java 互操作性，并且可以从 Java 中使用 Spark。

If yes, How can I do that?

以 Java 示例(不是 Scala 示例)和 convert them to Kotlin 为例.

SparkSession sc = SparkSession.builder()

不是合法的 Kotlin(并且不会产生您给出的错误，因为它没有提到 sparkSession )。它应该是

val sc = ...

或者

val sc: SparkSession = ...