gpt4 book ai didi

apache-spark - 为什么作业失败并显示 "No space left on device",但 df 却另有说法?

转载 作者:行者123 更新时间:2023-12-03 06:40:01 26 4
gpt4 key购买 nike

执行随机播放时,我的 Spark 作业失败并显示“设备上没有剩余空间”,但当我运行 df -h 时,它显示我还有剩余空间!为什么会发生这种情况?如何解决?

最佳答案

默认情况下,Spark 使用/tmp 目录来存储中间数据。如果您确实在某些设备上确实有剩余空间 - 您可以通过创建文件 SPARK_HOME/conf/spark-defaults.conf 并添加该行来更改此设置。这里 SPARK_HOME 是 Spark 安装的根目录所在的位置。

spark.local.dir                     SOME/DIR/WHERE/YOU/HAVE/SPACE

关于apache-spark - 为什么作业失败并显示 "No space left on device",但 df 却另有说法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25707784/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com