gpt4 book ai didi

apache-spark - 修复 spark 结构化流中的检查点

转载 作者:行者123 更新时间:2023-12-01 23:37:53 25 4
gpt4 key购买 nike

<分区>

当 spark 无法从 _spark_metadata 文件夹中找到文件时,我在生产中遇到检查点问题

18/05/04 16:59:55 INFO FileStreamSinkLog: Set the compact interval to 10 [defaultCompactInterval: 10]
18/05/04 16:59:55 INFO DelegatingS3FileSystem: Getting file status for 's3u://data-bucket-prod/data/internal/_spark_metadata/19.compact'
18/05/04 16:59:55 ERROR FileFormatWriter: Aborting job null.
java.lang.IllegalStateException: s3u://data-bucket-prod/data/internal/_spark_metadata/19.compact doesn't exist when compacting batch 29 (compactInterval: 10)

已经有一个question asked但暂时没有解决方案。

在检查点文件夹中,我看到批处理 29 尚未提交,所以我可以从检查点的 sourcesstate 和/或 offsets 中删除一些内容> 防止 spark 因缺少 _spark_metadata/19.compact 文件而失败?

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com