kubernetes 集群上的 Elasticsearch 集群。进还是出？

Question

我目前正致力于在 K8s 中部署一个 elasticseacrh 集群。任何人都可以帮助我了解在我们的 K8s 集群内部或外部部署 ES 集群的利弊是什么？ 提前致谢!

Answer 1

一个大专家是数据摄取。如果你的 ES 集群在你的 k8s 集群中，数据摄取会更快。

然而，一个很大的缺点是资源。 ES 会吃掉你的资源，这比 google-chrome 吃掉你的 ram 更糟糕。我的意思是，很多。

并且维护它可能非常麻烦。不确定您的用例，但如果它正在记录(在大多数情况下)，通常云提供商有自己的解决方案。

如果不是，则:

我建议在你的集群中为 ES 设置专用节点，否则如果出现峰值并开始使用大量节点资源，它可能会影响其他 pod。

还要确保自己熟悉并优化冷温热数据，这将为您节省大量时间和资源。

编辑

我没有强调这种更快的数据摄取有多重要，因此将其部署在集群中似乎不是一个充分的理由。底线非常明显:网络延迟和带宽。

这些东西可以真正加起来(从所有这些 pod 中提取所有这些日志，然后扩展这些相同的 pod，然后扩展集群，然后再次......)，所以每个单元都很重要。如果您的 VM 不会受到这两者的影响(也就是说，它们与集群的任何其他节点具有相同的延迟)，我认为它不会产生巨大差异。

另一方面，我认为将它们从集群中分离出来并没有什么大的好处。无论如何，它都是您基础设施的一部分。

如果明天您决定切换到 AWS 或 GKE 怎么办？你将不得不改变你的部署，重新设置整个事情。另一方面，如果它已经是您集群的一部分，只需 kubectl apply 和 🤷

我还可以猜测您将尝试设置一个 ELK 堆栈。如果时间和善意允许，请提供 fluentd一个机会(它与所有 logstash 客户端 100% 兼容，但更轻量级)。