elasticsearch - Elasticsearch索引清理

Question

v Elasticsearch 5.6。*。

我正在寻找一种方法来实现一种机制，通过该机制，我的一个索引(该索引很快就会增长，每天大约一百万个文档)自动管理存储约束。

例如:我将最大文档数或最大索引大小定义为变量“n”。
我要编写一个调度程序来检查'n'是否为真。如果为true，那么我想删除最旧的“x”文档(基于时间)。

我在这里有几个问题:

显然，我不想删除太多或更少。我怎么知道什么是“x”？我可以简单地对elasticsearch说:“嘿，删除值(value)5GB的最旧的文档”-我的目的是简单地释放固定量的存储空间。这可能吗？

其次，我想知道什么是最佳实践？显然，我不想在这里发明方形齿轮，如果有什么功能(例如，馆长，我最近才听说过)可以工作，那么我很乐意使用它。

Answer 1

在您的情况下，最佳做法是使用基于时间的索引，无论是每日，每周还是每月的索引，无论哪种方式对于您拥有的数据量和所需的保留时间都是有意义的。您还可以使用Rollover API来决定何时需要创建新索引(基于时间，文档数或索引大小)

删除整个索引比删除符合索引中某些条件的文档要容易得多。如果您选择后者，则文档将被删除，但是在合并基础段之前，不会释放空间。而如果您删除整个基于时间的索引，则可以保证释放空间。