hadoop - Spark Scala如何执行

Question

我已经编写了以下代码，该代码返回“找不到类”异常。我不确定将csv文件中的数据加载到SparkSQL中需要做什么。

import org.apache.spark.SparkContext

/**

 * Loading sales csv using DataFrame API

 */

object CsvDataInput {

  def main(args: Array[String]) {    

    val sc = new SparkContext(args(0), "Csv loading example")

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

    df.printSchema()

    df.registerTempTable("data")

    val aggDF = sqlContext.sql("select * from data")

    println(aggDF.collectAsList())

  } 
}

Answer 1

尝试替换此行

import org.apache.spark.SparkContext

有了这个

import org.apache.spark.*

您将仅导入库的一部分，但使用此部分之外的类。另外，您的导入实际上是拼写错误的-应该读为 org.apache.spark.sql.SQLContext，并且您使用了其他一些与所提供的代码无关的软件包。