gpt4 book ai didi

apache-flink - 我可以将 flink rocksDB 状态后端与本地文件系统一起使用吗?

转载 作者:行者123 更新时间:2023-12-05 03:57:21 40 4
gpt4 key购买 nike

我正在探索使用 Flink rocksDb 状态后端,文档似乎暗示我可以使用常规文件系统,例如:file:///data/flink/checkpoints,但代码仅 javadoc在这里提到了 hdfs 或 s3 选项。

我想知道是否可以将本地文件系统与 flink rocksdb 后端一起使用,谢谢!

Flink 文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

Flink 代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175

最佳答案

不,你不应该那样做!

使用此路径,您可以配置 Flink 写入检查点的目录。检查点是应用程序状态的副本,用于在发生故障(例如机器故障)时恢复应用程序状态。该路径必须指向一个持久的远程存储,以便能够在进程被终止或机器死亡的情况下读取检查点。如果将检查点写入失败机器的本地文件系统,您将无法恢复作业和恢复状态。

但是,如果这是也可以从其他机器挂载的 NFS(或任何其他远程存储)的挂载点,您可以将检查点写入本地路径。

关于apache-flink - 我可以将 flink rocksDB 状态后端与本地文件系统一起使用吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58614739/

40 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com