elasticsearch - 如何配置Filebeat Kubernetes Deamon以在 namespace 或Pod名称上建立索引

Question

我目前正在尝试将日志从我的kubernetes集群获取到外部ElasticSearch / Kibana。到目前为止，我已经使用this守护程序部署来运行文件拍并运行到外部服务器，但是我无法弄清楚如何将索引设置为有意义的值。 This文档页面告诉我，我需要在output.elasticsearch部分中创建一个索引键，但是我不知道该在值中添加什么。

我想要的输出格式应该是<cluster-name>-<namespace>-<pod name>
IE:devKube-frontend-publicAPI-123abc

Answer 1

前提条件:您已启用 add_kubernetes_metadata: ~ 。

然后，您可以在索引名称中使用该元数据，如下所示:

output.elasticsearch:
  index: "%{[kubernetes.namespace]:filebeat}-%{[beat.version]}-%{+yyyy.MM.dd}"

%{[kubernetes.namespace]:filebeat}:使用Kubernetes命名空间，或者如果没有，则使用filebeat。

强烈建议在升级Filebeat且映射中有重大更改时添加%{[beat.version]}。这应该仅限于主要版本更改(如果有的话)，但是使用此设置可以轻松避免这个问题。

基于时间的索引模式(例如%{+yyyy.MM.dd}或更佳)将是ILM policy，具有均匀且适当大小的分片。

PS:您在 add_kubernetes_metadata: ~的字段中具有Pod名称和其他详细信息。我会注意不要将索引切成小块，因为每个分片都有一定的开销。 Filebeat ILM的默认策略是每个分片50GB-如果分片小于10GB，则很可能在某个时候遇到问题。将索引保留得更粗糙一些，而只对特定的Pod使用过滤器即可。