elasticsearch - elasticsearch:为每个日志创建一个索引是好的吗？

Question

我正在使用Elasticsearch从测试案例的自动化运行中索引日志。我正在为每个运行创建索引(可能有1000到100万个事件)。我每天创建约200个索引。这是一种为每次运行创建索引的好方法吗？或者我应该只拥有1个索引，然后将多个运行中的所有日志放入该索引中？
数据量巨大，因此我选择了单独的索引。我预计每天有200根日志，每百万个事件。请帮我

Answer 1

取决于您要保留数据多长时间以及集群的大小。每天有200个索引，每个索引都有很多相关文件，您正在查看许多文件句柄。因此，这听起来并不像在一个很小的群集上扩展几个星期或几个月，因为您将用完文件句柄。

更好的策略可能是执行logstash默认情况下的行为，即每天创建一个新索引。然后，您的下一个选择将是使用集群中的分片和节点数。假设您想在3个或5个节点的群集上每天存储200M日志条目的最坏情况，则默认5个分片可能很好。如果您要使用更多的节点，则可能需要更多的分片，以便每个分片都较小。还可以考虑使用Elasticsearch策展人来进行关闭较旧的索引并对其进行优化。