elasticsearch - 路线图中的UDF或概率数据结构

Question

我们对使用高基数索引感兴趣。 (已知这是 flex 搜索的问题)

我们已经从您那里知道

select count(distinct high_cardinality_field) from my_table

您已经进行了一些优化来计算它。
有一天有可能写类似的东西:

select count_via_hyperloglog(high_cardinality_field) from my_table

将count_via_hyperloglog作为UDF之类的东西，因为现在可以通过ES插件在ES中实现？

Answer 1

在箱子中，此功能作为附加的聚合功能(使用hyperlog算法)在我们的积压中。我们计划进行从presto http://prestodb.io/docs/current/functions/aggregate.html派生的命名。您的示例可能如下所示:

select approx_distinct(high_cardinality_field) from my_table

但是，针对每个表一个特定字段的可能的性能改进是根据 https://crate.io/docs/current/sql/ddl.html#routing中所述的高基数字段对表进行聚类