java - Spark Scala脚本执行命令

Question

我是 Spark 的新手，我有这样的Spark脚本

import org.apache.spark.SparkContext

 /**

 * Loading sales csv using DataFrame API

 */

  object CsvDataInput {
  def main(args: Array[String]) {


   val sc = new SparkContext(args(0), "Csv loading example")
   val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
   val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

   df.printSchema()
   df.registerTempTable("sales")

   val aggDF = sqlContext.sql("select sum(amt),code from sales where tran='CHG' group by amt,code")

    println(aggDF.collectAsList())  
   }

 }

我如何在Cloudera中执行该程序
我必须使用什么命令

我用这个命令

./bin/spark-shell --class classname --master local "Scriptpath" inputpath

但我没有得到输出。

Answer 1

您可以使用spark-submit。例如

./bin/spark-submit --class classname --master local[*] "Scriptpath" inputpath