amazon-web-services - 当您拥有相对少量的数据时，Elasticsearch大型集群与较小的集群

Question

目前，我们有3个独立的环境，带有4个Elasticsearch集群。此外，我们有2个不同的用例，我们在其中搜索客户数据的相似性，并在其中搜索日志。
建议阅读Elasticsearch文档和在线视频讨论，以针对您的用例优化您的集群，因此从技术上来说，我们应该然后用4 x 2 = 8单独的集群。可以基于生产集群和非生产集群将某些集群分组在一起。但是实际上我们是一个很小的团队，只有不到10个人，在大多数集群中都没有分配数据，因此在所有集群中运行3 x master nodes太昂贵了。
即使Elastic似乎建议每个用例使用一个集群，以便您可以优化IMO的索引和碎片大小，但我相信，如果我们只有1个集群，或者至少降为2个集群，我们将获得更好的性能和稳定性。产品和非产品)。我们还将减少维护费用，因为我在每个环境中都收到CloudWatch警报，有一些保存的对象需要从一个环境中转移到另一个环境，并且我已经成为负责处理所有这一切的人，最终导致分配努力。
因此，我的问题是，即使应该针对每个用例对集群进行最佳实践的调整，当您的数据只有几个GiB时，这仍然有意义吗？考虑到管理的开销，以及与没有主节点的微集群的稳定性之间的权衡？

Answer 1

ES集群由节点(最重要的是数据节点和主节点)组成，它与仅在集群级别上进行优化的方式不同，您可以根据用例轻松调整索引和分片级别。
就像您的情况一样，您没有太多数据，所以只有2个env(prod和non-prod env。)可以避免集群管理的开销，并且出于高可用性的原因而采用具有3个主节点的最佳实践是有意义的。
当根据您的索引被切断的数据和用例进行优化时，您可以进行优化，例如，对于读取大量的索引，有更多的副本是有意义的，对于索引繁重的操作，则可能需要增加refresh_interval (def 1 sec)到更高的值。
请引用improve search performance和improve indexing speed调整索引，还可以尝试free cluster analyzer tool在集群和节点中查找错误的配置。