gpt4 book ai didi

apache-kafka - Apache Flink State Store 与 Kafka Streams

转载 作者:行者123 更新时间:2023-12-04 01:47:41 24 4
gpt4 key购买 nike

据我所知,处理 Kafka Streams 的本地状态在内存、磁盘或 Kafka 主题中,因为所有输入日期都来自一个分区,其中所有消息都由定义的值作为键。大多数时候,可以在不知道其他处理器状态的情况下完成计算。如果是,则您有另一个计算结果的 Streams 实例。就像这张照片:

enter image description here

Flink 的 States 到底存储在哪里? Flink 是否也可以将状态存储在本地,还是始终将状态发布到所有实例(任务)?是否可以配置 Flink 以便将状态存储在 Kafka Broker 中?

最佳答案

Flink 也使用本地存储(可以键控),类似于 Kafka Streams。但是,它不会将状态写入 Kafka 主题。

为了容错,它采用所谓的“分布式快照”,存储在可配置的状态后端(例如,HDFS)中。

查看文档了解更多详情:

关于apache-kafka - Apache Flink State Store 与 Kafka Streams,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54608133/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com