php - 使用crontab自动从Elasticsearch中删除超过1天的日志数据

Question

由于大量日志数据进入我的小型服务器，我想每天使用crontab删除Elasticsearch日志数据。我已经在Internet上进行了许多研究，并找到了使用curator或Elasticsearch _ttl的解决方案。但是对我来说没有任何用。现在我已经不知道如何使用Google或使用Google什么了。因为我尝试了很多事情，所以在Google上找不到了什么。因此，请为我提供清晰的指导。

Answer 1

Elasticsearch Curator只能删除索引，不能删除存储在索引中的单个文档。

如果您尝试删除索引，并且您的索引名称符合预期的条件，那么Curator会完成这项工作。

策展人期望索引具有前缀和时间字符串。例如--prefix logstash- --timestring %Y.%m.%d将与名为logstash-2014.07.30的索引匹配

Curator命令删除符合以下条件的索引:

连接到elasticsearch主机es-host

days的时间单位

大于1的

索引time-unit

prod-的前缀

时间字符串year.month.day(%Y.%m.%d)可能看起来像这样:

curator --host es-host delete indices --older-than 1 --time-unit days --prefix prod- --timestring %Y.%m.%d
TTL用于让Elasticsearch在文档存在给定时间后删除它们。出于相同的原因，这对于记录用例是有问题的，原因是百万个SQL语句(例如 delete from TABLE where datestamp < 2014.06.01)比删除分区表(例如， drop table DATA-2014.05。涉及很多磁盘I / O，它可能会损害性能。如果您没有每秒连续索引数百个(或更多)文档，那么TTL可能仍然是您的理想选择。进一步了解 here。