elasticsearch - 将Elasticsearch索引与数据库记录进行比较以确定状态不一致的工具

Question

I Want to know whether any tool available for comparing database entries into elastcisearch index to find the mismatch.

提前致谢。

Answer 1

使用Scrutineer工具可以做到这一点，它提供了将Elasticsearch中存储的数据与真实数据源(通常是关系数据库)进行比较的支持。

运行此工具后，您将获得以下报告:

记录在真相中，而不记录在ES中(缺少创建)

记录在ES中，而不是真实情况中的记录(未删除)

ES中的

记录和真相来源(不同步更新)

基本上，这将为您提供您要比较的两个数据存储(ES + DB)的去同步状态的准确概述。

更新1:

这是关于该主题的另一篇有趣的博客文章: Elasticsearch: Verifying Data Integrity with External Data Stores

更新2:

这是关于该主题的另一篇有趣的博客文章: How to keep Elasticsearch synchronized with a relational database using Logstash