sbt - 无法构建简单的SparkSQL应用程序

Question

这是一个非常菜鸟的问题。

我正在尝试学习SparkSQL。我一直在遵循此处描述的示例：
http://spark.apache.org/docs/1.0.0/sql-programming-guide.html

在Spark-shell中一切正常，但是当我尝试使用sbt构建批处理版本时，出现以下错误消息：
object sql is not a member of package org.apache.spark

不幸的是，我对sbt相当陌生，所以我不知道如何解决此问题。我怀疑我需要包括其他依赖项，但是我不知道怎么做。

这是我要编译的代码：

/* TestApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

case class Record(k: Int, v: String)

object TestApp {
 def main(args: Array[String]) {
   val conf = new SparkConf().setAppName("Simple Application")
   val sc = new SparkContext(conf)
   val sqlContext = new org.apache.spark.sql.SQLContext(sc)
   import sqlContext._
   val data = sc.parallelize(1 to 100000)
   val records = data.map(i => new Record(i, "value = "+i))
   val table = createSchemaRDD(records, Record)
   println(">>> " + table.count)
 }
}

错误在我尝试创建SQLContext的行上标记。

这是sbt文件的内容：

name := "Test Project"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.0"

resolvers += "Akka Repository" at "http://repo.akka.io/releases/"

谢谢您的帮助。

Answer 1

通常情况下，提出问题的举动帮助我找到了答案。答案是在sbt文件中添加以下行。

libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.0.0"

我还意识到上面的小程序中还有另一个问题。对createSchemaRDD的调用中有太多参数。该行应如下所示：

val table = createSchemaRDD(records)