azure - 我的 Azure Synapse 笔记本已成功完成，但收到错误 "Error code 1 EXCEPTION_DURING_SPARK_JOB_CLEANUP"

Question

我的 Azure Synapse 笔记本已成功完成，但笔记本运行在 Spark 应用程序 View 中显示为“失败”，即使管道认为它们成功并在之后执行了适当的工作。

我收到如下所示的错误:

Error details
This application failed due to the total number of errors: 1.

Error code 1
EXCEPTION_DURING_SPARK_JOB_CLEANUP

Message
[plugins.mooboo9-synapse.mooboo9cluster.479 WorkspaceType:<Synapse> CCID:<dd232b79-7565-4825-bf5c-af847424a079>]. [Cleanup] -> [Ended] JobResult=[Cancelled] LivyJobState=[idle]. Unable to kill livy job.

Source
Dependency

我假设原因是“无法杀死 livy job”。但是什么原因导致这个问题以及如何解决它？我什至不知道从哪里开始。我在 Stack Overflow 上看到过类似的错误，但不是这个。

当我查看 Livy 日志时，我也看到这些错误:

22/10/20 22:21:59 WARN DependencyUtils: Local jar /opt/livy/rsc-jars/netty-all-4.1.17.Final.jar does not exist, skipping.

22/10/20 22:21:59 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Answer 1

显然，“SparkMetricsListener”在完成后并未从应用程序中脱钩。其根本原因尚不清楚。

此问题导致集群基于空闲超时并关闭，然后由于此监听器而报告关闭错误。笔记本电脑的以下配置 block 暂时可以防止该问题:

%%configure -f
{
    "conf":
    {
        "livy.rsc.synapse.spark-config-merge-rule.enabled": "false",
        "spark.extraListeners": "",
    }
}

当你把上面的配置。在笔记本单元格中不要添加评论或其他任何内容；否则会失败。