python - QueryIncompleteError : Your query did not finish in 300 seconds. 很可能是我们这边出了问题

Question

使用 Python Keen 客户端进行提取查询时，我们一直遇到相同的错误:

消息:您的查询未在 300 秒内完成。我们这边很可能出了什么问题。请通过 team@keen.io 告诉我们。

代码: QueryIncompleteError

查询的参数为:(JSON格式)

{
    "timezone": -18000,
    "event_collection": "Loaded a Page",
    "filters": [
        {
            "operator": "eq",
            "property_name": "reportType",
            "property_value": "Profile"
        }
    ],
    "timeframe": {
        "start": "2017-04-24",
        "end": "2017-06-19"
    }
}

我怀疑请求的日期范围太大，Keen API 因该数据集的大小而窒息，但从错误消息中看不清楚。

Answer 1

你猜对了!当您的查询超时(运行时间超过 5 分钟)时，会发生此 504 错误。以下是减少查询运行时间的方法:

<强>1。缩短查询的时间范围

时间范围越小，查询越快。查询一周的数据比查询 1 个月的数据快 4 倍(大致)。

一个相对简单的解决方法是通过将时间范围分成两个或更多部分来将此查询拆分为两个查询。

<强>2。减少提取的属性数量。

extraction查询类型接受名为 property_names 的参数。您可以在此处列出提取中所需的一系列属性。如果没有此参数，API 将返回您的事件的所有 属性。使用 property_names 仅提取所需的属性可以显着降低计算成本和查询开销。

<强>3。减少您的集合大小

这在这种情况下可能不适用，因为看起来您的数据模型已经建立且合理，但分析 4 亿事件的查询所花费的时间大约是分析 2 亿事件的查询的两倍。出于这个原因，我们建议您不要将所有事件类型存储在一个大型集合中。 Keen 旨在为每种类型的操作(注册、打开、消息等)提供多个集合。例如，如果您将此集合缩小为“加载配置文件页面”，您的查询会快很多，因为它不必对所有其他报告类型进行排序。

对于遇到此错误的其他人，caching还可以将查询响应时间减少到毫秒。缓存适用于所有 analysis types例如计数、总和、中位数等，除了用于提取。