gpt4 book ai didi

apache-spark - 为什么 Spark 报告 spark.SparkException : File ./someJar.jar 存在并且不匹配的内容

转载 作者:行者123 更新时间:2023-12-03 08:42:02 25 4
gpt4 key购买 nike

我有时会在运行 Spark 作业时看到以下错误消息:

13/10/21 21:27:35 INFO cluster.ClusterTaskSetManager: Loss was due to spark.SparkException: File ./someJar.jar exists and does not match contents of ...



这是什么意思?我如何诊断和解决这个问题?

最佳答案

在查看日志后,我也发现了“设备上没有剩余空间”异常,然后当我运行 df -h 时和 df -i在每个节点上,我发现一个分区已满。有趣的是,这个分区似乎不是用于数据,而是临时存储 jars。它的名字类似于 /var/run/run .

解决方案是清理旧文件的分区并设置一些自动清理,我认为设置 spark.cleaner.ttl说一天(86400)应该防止它再次发生。

关于apache-spark - 为什么 Spark 报告 spark.SparkException : File ./someJar.jar 存在并且不匹配的内容,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25707869/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com