gpt4 book ai didi

mysql - 使用KAFKA作为热存储,MySQL作为冷存储

转载 作者:行者123 更新时间:2023-11-29 15:53:00 24 4
gpt4 key购买 nike

我想每秒向 KAFKA 插入大约 500k 数据,然后将它们与每秒仅支持 40k INSERTs/UPDATE 的 MySQL 数据库同步。

因此,为了实现我的目标,我想使用 KAFKA 作为热存储,因为我需要尽快使用数据并与多个服务共享它们并快速进行更新,因为它可以单独使用 MySQL 是不够的(我想将其用作冷存储来尽可能长时间地存储数据并存档更改)。

这是关于我的需求的架构: https://i.imgur.com/NyRn8zi.jpg

有关于如何处理此案的任何想法吗?或者用另一种方式来实现同样的目标?

我不需要代码,而是需要遵循的资源和路径(我的主要语言是 PHP)。

最佳答案

Kafka connect JDBC 既充当源接收器。因此它至少可以执行插入,更新可能取决于您的 Kafka 消息结构/表中的主键

关于mysql - 使用KAFKA作为热存储,MySQL作为冷存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56675206/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com