date - elasticsearch 中的日期舍入如何工作，它如何影响缓存流失？

Question

所以，我正在浏览这个关于优化 elasticsearch 查询的幻灯片，它看起来非常有用:

https://speakerdeck.com/elasticsearch/query-optimization-go-more-faster-better

它提到通过使用类似于以下内容的方法来避免缓存流失:

curl -XGET 'localhost:9200/_all/_search?search_type=count' -d '
{
    "query" : {
        "filtered" : {
              "filter" : {
                "bool" : {
                    "must" : [
                        {"range" : {
                            "@timestamp" : {
                                "gte" : "now/d"
                            }
                        }},
                        {"range" : {
                            "@timestamp" : {
                                "gte" : "now-1h"
                            },
                            "_cache" : false
                        }}
                    ]
                }
              }

        }
    }
}'

那么，问题是:日期舍入是如何进行的？

具体来说，now/d 实际指的是什么？那只是等同于“今天”吗？但是，这是否意味着“今天根据我的本地计算机运行查询”或“今天根据运行 elasticsearch 集群的计算机的时区”？我想很难区分这一点，因为大多数人在本地主机上运行，​​或者他们运行 elasticsearch 集群的计算机很可能设置为同一时区……但我想这是一个小问题。

我想，我看到这个过滤查询的意思是:“搜索所有索引 - 它必须是今天的，而且必须是过去一小时内的。”我可以看到哪里 - “它必须是从今天开始”是一个应该缓存的过滤器，因为它可以重复使用。 elasticsearch github 问题在 https://github.com/elasticsearch/elasticsearch/issues/4947 中提到了这一点

我看到它如何帮助避免缓存流失，但实际上我认为如果它小于或等于而不是大于或等于，它会更有用，例如:

"lte" : "now/d"

也就是说“搜索所有索引 - 它必须来自今天或更早，并且必须来自过去一小时内。”在我看来，这是有道理的，因为它使“今天或更早”成为一个恒定的终点，并允许您从现在静止的时间点向后搜索。这意味着您可以使用这种类型的过滤器组合来避免过去的缓存流失和搜索，而不是仅限于搜索“今天”的内容。但是，我不确定 lte 版本是否仍然有助于避免缓存流失。任何人都可以澄清这个问题吗？

Answer 1

据我了解，因为日期以毫秒为单位，所以我们必须将它们四舍五入以使其更通用，并使过滤结果更有可能在其他查询中重复使用。我不知道它会轮到什么时间。不过没关系。唯一重要的是它四舍五入到相同的东西，这样它就可以被缓存重用。

由于我们应用过滤器的顺序很重要，我们越早缩小记录范围越好。理想情况下，我们的第一个过滤器是一个缓存过滤器，并尽可能多地过滤掉。这就是为什么如果我们想要获取过去一小时的数据，过滤掉除今天以外的所有数据是有意义的。

让我们考虑您提到的第一个条件:

record_datetime >= now/d && record_datetime >= now-1h

第一个条件似乎是多余的，可以删除而没有任何副作用。但是 Elasticsearch 从中受益，因为它可以重用它存储的缓存过滤器数据，并在更小的集合上执行第二个过滤器。请记住，如果颠倒过滤器的顺序，我们将失去这种冗余的所有好处。

正如您所提到的，这也可以在更深入地回顾过去时使用。您可以使用一个过滤器，在某天后将所有内容都扔掉。例如，如果我们需要今年第一周的数据，我们可以按照以下方式做一些事情:

record_datetime >= 01.01.2014 && record_datetime <= 05.01.2014 && other_filters

其他过滤器不必与时间相关。如果这将被执行多次只有 other_filters 将被完全执行，其余的将使用缓存 bitsets .

此外，这种方法可用于任何数值数据。例如，在按精确的纬度和经度过滤之前，先按一些粗略的网格或城市过滤。我们希望在查询之间使过滤器尽可能相似。

不确定我是否足够清楚:)有一篇关于使用过滤器提高 ES 性能的好文章，并且解释了您要求的确切技术 here .还有一个关于过滤顺序和缓存的 ES 官方文档 here .