spring - Elasticsearch API与Spring数据与Logstash

Question

我计划通过基于Spring Boot的休息服务对我们的仪表板使用 Elasticsearch 。经过研究，我看到了前3个选项

选项A:

使用Elastic Search Java API(从注释中消失)

使用 flex Search Java Rest Client

使用spring-data-elasticsearch(计划使用es 5.6，但对于最新的es 6来说具有挑战性，因为我现在不支持它)

选项B:

还是我应该使用logstash方法
使用logstash在postgressql和 Elasticsearch 之间同步数据？

在高负载情况下，其中哪一种是从ES获得接近实时数据的长期方法？

用例:我需要从postgresql表中保存一些数据以 Elasticsearch 我的仪表板(接近实时)

表和es都经常更新
保持当前状态

负载将在几周内增加

Answer 1

从本质上讲，列出的选项是:应该使用随时可用的解决方案(logstash)还是应该实现自己的解决方案。

首先尝试使用logstash看看它是否对您有用-比实现自己的解决方案所需的时间更少，而且您可以在数分钟内获得可行的解决方案(如果不是数百张表)

如果要近乎实时，则需要弄清楚它是否允许您:

处理增量更新，即，如果其“tracking_column”配置适用于您的数据结构，并且只会在每次运行中加载更新的记录，而不是整个表。

以所需的频率运行

，通常可以满足您的延迟要求

如果您决定采用自己的解决方案，请记住，spring-data-elasticsearch是底层Elasticsearch客户端的高级包装。如果有延迟目标，那么在较低级别上工作(elasticsearch客户端)可能会为您提供更好的控制和更多选项来调整管道。

否则，客户端的选择与数据馈送功能(卷/更新频率)和db / es集群配置无关紧要。