apache-spark - 发生错误时 Spark Streaming 关闭作业

Question

我有一个每分钟运行一次的流作业，在处理数据后将其放在 hdfs 上，并将结果的简化形式放入数据库中。

在某些情况下(罕见)我注意到我的数据节点坏了或者数据库由于某种原因停止响应。在这种情况下，工作人员会抛出很多错误，但作业会继续运行。我想设置一个系统，一旦出现 IO 或网络错误，我的工作就应该停止。 (然后可能会触发一封邮件，以便我可以查看出了什么问题并重新启动它。)

Spark 作业可以从 worker 内部停止吗？ (sys.exit 显然不行)

Answer 1

这个似乎没有反馈 channel 。我认为您最好的选择是使用基于消息的方法(例如，通过使用消息传递框架)并在应用程序中收听它，这将启动您的 Spark 应用程序并相应地停止 Spark 作业。