mysql - 从 MYSQL 将数据填充到 elasticsearch 的良好实践

Question

我阅读了一些文档，发现了一些有趣的方法来实现与elasticsearch的实时同步来填充数据。

1. logstash with(输入插件(mysql - 每 5 秒运行一次))
2. logstash with(输入插件(sqs、kafka、rabbitMQ))
3. 仅使用消息队列(rabbitMQ..)
4. 仅在API级别添加它(在与(mysql或其他数据库)的事务中)

哪一种方法将是一种容错方法并提供近乎实时的性能优势？

我的要求是将3个表从mysql填充到elasticsearch(有多对多关系需要非规范化和保存)并在执行CURD操作时与elasticsearch 1:1同步

Answer 1

我建议将数据写入 Kafka 主题，然后使用消费者应用程序或 Logstash 将数据写入 ElasticSearch:

1. Kafka 是一个高可用、高可扩展的消息队列和存储。
2. 如果我们的logstash崩溃(logstash with(输入插件(mysql - 每5秒运行一次)))，您必须手动重新启动此服务。
3. 如果某个使用者发生故障，并且您有该使用者的多个实例，则其他两个实例将接管负载。
4. 如果 Elastic Search 在一段时间内不可用(这发生在我身上)，您将丢失日期