gpt4 book ai didi

apache-flink - 如何处理 Apache Flink 中很少更新的大型查找表

转载 作者:行者123 更新时间:2023-12-04 20:35:07 25 4
gpt4 key购买 nike

处理数据的模式是我有一个记录流,其中包含一些信息 A。这些记录由某个 ID 分片。这个信息A依赖于当前记录、之前计算的结果和一个大的查找表。查找表不会经常更改并且更改很小。我知道我可以使用 mapWithState/flatMapWithState 进行有状态计算。但是,我应该如何处理查找表?惯用的方法是也将其作为状态处理(如 A),但查找表的大小可能对性能/内存来说是可怕的(例如,当快照时)

我目前正在考虑使其成为受读/写锁保护的共享资源。有没有更好的方法来处理这种模式?

最佳答案

正如您提到的,现在唯一可能的方法是使用状态。我们正在研究另一种方法。以下是我们的一些想法:https://docs.google.com/document/d/1hIgxi2Zchww_5fWUHLoYiXwSBXjv-M5eOv-MKQYN3m4/edit?usp=sharing

关于apache-flink - 如何处理 Apache Flink 中很少更新的大型查找表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37448847/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com