java - 如何将 jar 附加到正在执行作业的 Spark 集群？

Question

Spark 流确实很棒。但是当我使用它时，我遇到了一个问题。

场景:我使用 Spark Streaming 来消费来自 Kafka 的消息。目前有两个主题，我对它们进行了硬编码。但它不利于可扩展性。

例如，如果有一个新主题，我需要为 parquet 模式定义一个 scala 类。然后停止正在运行的 Spark 并再次启动 Spark 。

我期望的是spark仍在运行，我可以添加新的jar库并通知spark在新jar中加载新类。这样spark就可以消费新的主题消息并将相关的parquet写入HDFS。

非常感谢您能就此向我提出一些建议。我搜索了动态加载，但问题是如何将新的 jar 附加到现有正在运行的 Spark 而不停止它。

提前谢谢您。

Answer 1

元数据是适合您情况的理想解决方案。您需要维护一个元数据服务，该服务由 Spark Streaming 应用程序使用，作为其使用者的引用。

类似的东西通过 REST API 公开 -

{
topicName: {},
schema: {},
outputPath:
}

并从自定义 SparkListener 实现中添加触发器。