scala - Spark : how to include dependencies with build/sbt compile

Question

我是 spark 的新手，但正在尝试进行一些开发。我正在遵循 the spark developer page 中的“减少构建时间”说明.创建正常程序集后，我编写了一些依赖于一个特定 jar 的类。我在 spark-shell 中测试了我的包，通过定义 SPARK_CLASSPATH，我已经能够在其中包含我的 jar，但问题在于实际编译我的代码。我想要实现的是在编译我添加的包时包含那个 jar(使用 build/sbt compile)。我可以通过在 build/sbt 文件或 sbt-launch-lib.bash 中添加我的 jar 路径来做到这一点吗？如果可以的话，怎么做？

(旁注:我还不想将 jar 包含在程序集中，因为我对它做了一些更改，所以这会很不方便。我使用的是 Spark 1.4)

感谢任何帮助!

Answer 1

根据上面评论中的回答，您似乎在对 mllib 本身进行开发时尝试将 jar 作为依赖项添加到 mllib 项目中。您可以通过修改 Spark 发行版中 mllib 目录中的 pom.xml 文件来完成此操作。

您可以在此处找到有关如何将本地文件添加为依赖项的说明 - http://blog.valdaris.com/post/custom-jar/ .我自己没有使用这种方法将本地文件作为依赖项包含在内，但我认为它应该有效。