java - 每 30 秒查询 PostgreSQL 的有效方法？

Question

我需要从 AWS 中的某些 PostgreSQL 表中获取数据(有多少记录等待处理)以进行报告。 qry 的结果被发布到日志中，由 FluentD 恶魔获取并推送到 elasticsearch/Kibana。做到这一点的直接方法是编写一个小的 spring boot 应用程序，每 30 秒左右 ping Db。我觉得这既低效又昂贵。有更好的方法吗？

感谢您的帮助。

Answer 1

不是定期查询数据库，而是使用变更数据捕获 (CDC) 来生成变更事件流。使用流处理，将结果写入 Elasticsearch 索引。如果您不担心供应商锁定，您可以使用 AWS DMS、Kinesis 和 Lambda 来做到这一点。否则，您可以使用合适的 Kafka 连接器来读取更改并将事件发布到 Kafka 上。然后使用 Kafka 流将数据推送到 Elasticsearch。