python - 如何杀死 Databricks 中的工作

Question

我有一个长期运行的工作，如果满足某些条件，我想终止这个工作。这传统上是在 python 中完成的，例如:

if some_condition:
   exit('job failed!)

这适用于 python 脚本的传统命令行运行。但是，出于我无法理解的原因，Databricks 不会通过退出终止脚本。

如何编写 Databricks python 脚本，使其在满足特定条件时自动停止执行？

Answer 1

我认为这是由于 Python REPL 在整个堆栈中的位置，导致 exit() 实际上并未退出 Spark 所在的 JVM。您正在寻找退出 spark 作业的异常可能是 SparkException - https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkException.scala

或者，在 Databricks 中，您可以使用 dbutils.notebook.exit() https://docs.databricks.com/user-guide/notebooks/notebook-workflows.html#notebook-workflows