scala - ClassNotFoundException : com. 数据 block .spark.csv.DefaultSource

Question

我正在尝试使用 spark scala 从 Hive 导出数据。但我收到以下错误。

Caused by: java.lang.ClassNotFoundException:com.databricks.spark.csv.DefaultSource

我的 scala 脚本如下所示。

import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val df = sqlContext.sql("SELECT * FROM sparksdata")
df.write.format("com.databricks.spark.csv").save("/root/Desktop/home.csv")

我也试过这个命令，但仍然没有解决，请帮助我。

spark-shell --packages com.databricks:spark-csv_2.10:1.5.0

Answer 1

如果您希望以您运行它的方式运行该脚本，您需要使用 --jars 用于本地 jar 或 --packages 用于远程运行命令时 repo 。

所以运行脚本应该是这样的:

spark-shell -i /path/to/script/scala --packages com.databricks:spark-csv_2.10:1.5.0

如果你还想在工作完成后停止 spark-shell，你需要添加:

System.exit(0)

在你的脚本结束时。

PS:您不需要使用 spark 2.+ 获取此依赖项。