apache-spark - 是否可以获取已经运行的 spark 应用程序的 sparkcontext？

Question

我在 Amazon EMR 上使用 yarn 作为集群管理器运行 spark。我正在尝试编写一个 python 应用程序，它在内存中启动和缓存数据。我怎样才能允许其他 python 程序访问缓存的数据，即

我启动一个应用程序 Pcache -> 缓存数据并保持该应用程序运行。
另一个用户可以访问运行不同实例的相同缓存数据。

我的理解是应该可以处理已经运行的 sparkContext 并访问该数据？那可能吗？或者我是否需要在该 Spark 应用程序之上设置一个 API 来访问该数据。或者可以使用 Livy 的 Spark Job Server 之类的东西。

Answer 1

无法在多个进程之间共享 SparkContext。实际上，您的选择是自己构建 API，使用一个服务器保存 SparkContext 及其客户端告诉它如何处理它，或者使用 Spark Job Server这是相同的通用实现。