gpt4 book ai didi

apache-spark - 在写入过程中 session 被终止时,Spark saveAsTable 是否回滚?

转载 作者:行者123 更新时间:2023-12-04 05:31:28 28 4
gpt4 key购买 nike

使用 saveAsTable 附加到 Hive 管理的表时,不完整的 saveAsTable 完成的工作会回滚,还是部分信息会保留?

最佳答案

用spark写表时没有“回滚”的概念。当您 saveAsTable 时,它​​不会创建事务表。如果在保存表时 spark session 终止,表将保持不可用状态。即使写入了部分数据,您也可能无法读取部分写入的数据。

但是,当您使用仅附加配置单元时,可以读取其余数据。

关于apache-spark - 在写入过程中 session 被终止时,Spark saveAsTable 是否回滚?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50502662/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com