gpt4 book ai didi

apache-flink - 定期刷新 Apache Flink 中的静态数据?

转载 作者:行者123 更新时间:2023-12-05 07:17:20 25 4
gpt4 key购买 nike

我有一个应用程序,它从流中接收大部分输入,但它的一些数据来自 RDBMS 和一系列静态文件。

流将不断发出事件,因此 flink 作业永远不会结束,但是您如何定期刷新 RDBMS 数据和静态文件以捕获对这些源的任何更新?

我目前正在使用 JDBCInputFormat 从数据库中读取数据。

下面是我正在尝试做的事情的粗略示意图:

Flink Schematic

最佳答案

对于可能发生变化的两个源(RDBMS 和文件)中的每一个,创建一个 Flink 源,该源使用广播流将更新发送到正在处理来自 Kafka 的数据的 Flink 运算符。广播流将每个对象发送到接收运算符(operator)的每个任务/实例。

关于apache-flink - 定期刷新 Apache Flink 中的静态数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58827517/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com