scala - 如何在Spark Shell中运行外部jar函数

Question

我通过以下文件树从项目创建了一个jar包:

build.sbt
src/main
src/main/scala
src/main/scala/Tester.scala
src/main/scala/main.scala

其中Tester是按功能分类的类(名称为print())，而main具有要运行的对象，该对象将显示“Hi!”。 (来自 Spark 记录)
由sbt成功创建了一个jar文件，并且在spark-submit中运行良好

现在我想将其添加到spark-shell中，并使用Tester类作为类来创建对象并...
我将jar文件添加到spark-default.conf中，但是:

scala> val t = new Tester();
<console>:23: error: not found: type Tester
       val t = new Tester();

Answer 1

您可以尝试通过提供以下参数的 jar

./spark-shell --jars pathOfjarsWithCommaSeprated

或者您可以在spark-defaults.conf中添加以下配置，但请记住从spark-defaults末尾删除模板

spark.driver.extraClassPath  pathOfJarsWithCommaSeprated