hadoop - Spark on Yarn 与 Jdk8

Question

我在 hadoop yarn 上运行一个 spark 作业(hadoop 2.7.0，但也尝试了 2.4.0，所有这些都在我的盒子上使用从 apache-hadoop 网站和 spark 1.3.1 下载)。我的 spark 作业在 scala 中，但包含用 jdk8 编译的类。

当我在 jdk8 上运行 hadoop 时，我得到

INFO yarn.Client: 
 client token: N/A
 diagnostics: Shutdown hook called before final status was reported.
 ApplicationMaster host: kostas-pc
 ApplicationMaster RPC port: 0
 queue: default
 start time: 1431513335001
 final status: SUCCEEDED

即使作业被标记为成功，它实际上也没有做任何事情，因为“在报告最终状态之前调用了关机 Hook ”。事实上，从我的 spark 作业中看不到任何日志记录。

当我将运行 hadoop 的 jdk 切换到 jdk7 时，我的工作开始运行并且我可以看到来 self 的 scala 代码的日志条目，但是当它到达使用 jdk8 编译的代码时它失败并出现不兼容的类错误(正如预期的那样).

看来jdk8运行hadoop+spark是不兼容的。有解决办法吗？

谢谢

Answer 1

似乎 spark 1.4.0 可以用 jdk8