gpt4 book ai didi

java - 当检查点发生时,flink广播状态不会保存到rocksdb?

转载 作者:行者123 更新时间:2023-11-30 01:53:33 25 4
gpt4 key购买 nike

No RocksDB state backend: Broadcast state is kept in-memory at runtime and memory provisioning should be done accordingly. This holds for all operator states.

以上来自flink官网。这是否意味着广播状态不会存储在rocksdb中?即使检查点发生了?

最佳答案

不用担心,广播状态(像所有操作符状态一样)包含在 Flink 的检查点中。但无论选择何种状态后端,它的工作状态都在内存中(在 JVM 堆上)。只有键控状态可以选择存储在 RocksDB 中。

RocksDB 是一个本地嵌入式键/值存储,它通过堆外缓存将其工作状态保存在本地磁盘上。如果您使用 RocksDB 作为状态后端,那么当检查点发生时,堆上运算符状态和 RocksDB 中的键控状态都将被复制到检查点中。检查点不存储在 RockDB 中,而是写入节点外分布式文件系统以实现持久性。

关于java - 当检查点发生时,flink广播状态不会保存到rocksdb?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55213502/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com