java - 以编程方式向 yarn 提交 spark 应用程序

Question

我觉得能够以编程方式向 yarn 提交 spark 应用程序正在成为一个非常普遍的需求。但是在 apache spark 文档中没有关于它的引用。是否有可能，如果有，是否有直接的方法来实现它。请指教。

Answer 1

正确的做法是将您的驱动程序应用程序变成一个 RPC 服务器。这样，您只启动一个 SparkContext。您传入的 RPC 请求全部重新使用您现有的 SparkContext。

我相信文档顺便提到了这个策略，但除此之外这确实超出了 Spark 文档的范围。

我最近使用 http4s 做了这个，一个可嵌入的功能性 HTTP 服务器。这是微不足道的。

但是选择您选择的 RPC 协议(protocol)并使用它。