gpt4 book ai didi

apache-flink - Flink 以 Ceph 作为持久化存储

转载 作者:行者123 更新时间:2023-12-04 05:27:28 28 4
gpt4 key购买 nike

Flink 文档建议 Ceph 可以用作状态的持久存储。 https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/stream/checkpointing.html

考虑到Ceph是一个事务型数据库,对Flink的性能不会有不利影响吗?

最佳答案

Ceph自称为“统一的分布式存储系统”,并提供网络文件系统 API。因此,它应该与 Flink 的状态后端无缝协作,将检查点持久保存到远程文件系统。

我不知道有人在使用 Ceph(HDFS 和 S3 更常用),也没有关于性能的信息。但是需要注意的是,Flink 可以异步写入检查点,因此存储系统的性能不会影响 Flink 应用程序的处理速度。但是,它可能会限制采取检查点的时间间隔。

更新:(2018 年 2 月)我注意到有多个用户在 Flink 的用户邮件列表中报告他们正在将 Ceph 与 Flink 一起使用。

更新 2:Flink 在 S3 协议(protocol)下运行良好,并且 ( Presto & Hadoop ) Flink 的 S3 文件系统插件在 S3 协议(protocol)下运行良好。

关于apache-flink - Flink 以 Ceph 作为持久化存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47652024/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com