解析数仓lazyagg查询重写优化-6ren

解析数仓lazyagg查询重写优化

转载作者：知者更新时间：2024-03-12 23:01:17

27

4

**摘要：**本文对Lazy Agg查询重写优化和GaussDB(DWS)提供的Lazy Agg重写规则进行介绍。

本文分享自华为云社区《GaussDB(DWS) lazyagg查询重写优化解析【这次高斯不是数学家】》，作者： OreoreO 。

聚集操作将查询结果按某一列或多列的值分组，值相等的为一组。聚集操作是一种常见的操作并在金融客户中有广泛的使用。例如如下语句：

SELECT a, count(a) FROM t1 GROUP BY a; -- 按a分组并计算分组内重复值的个数

一、Lazy Agg重写规则

数据量大的场景下，聚集运算由于数据量大导致下盘，聚集操作执行时间成为性能瓶颈，从而导致整个查询执行效率非常差。例如：

SELECT t2.b, sum(cc) FROM (SELECT b, sum(c) AS cc FROM t1 GROUP BY b) AS s, t2 WHERE s.b=t2.b GROUP BY t2.b;

子查询对t1.b列进行聚集，对t1.c列求和，在外部查询中，同样也存在聚集运算，对子查询的聚集求和列cc列求和。对于这类语句，当子查询的聚集运算较耗时的情况下，可以利用查询重写规则消除子查询的聚集运算，由外部查询的聚集函数统一完成聚集运算。消除子查询后可能导致子查询行数增多，但对于子查询聚集运算时t1.b列的distinct值较多的场景，子查询聚集运算后的行数较原表不会有明显缩减，不会导致外层JOIN运算量的大量增加。即语句可被重写为：

SELECT t2.b, sum(cc) FROM (SELECT b, c AS cc FROM t1) AS s, t2 WHERE s.b=t2.b GROUP BY t2.b;

这个改写规则称为Lazy Agg，适用于基表数据量大且distinct值较多的场景。如果重复值较少，那么消除了聚集操作会导致Join后的行数激增，Join性能较差，因此需要将Agg下推到Join之前进行，通过提前的Agg操作减少Join结果的行数，这个改写规则称为Eager Agg。

二、GaussDB(DWS) lazyagg优化

为了降低调优难度，提升产品易用性，GaussDB(DWS)提供了lazyagg查询重写优化规则，可以通过设置guc参数rewrite_rule包含’lazyagg’使用Lazy Agg查询重写优化。开启lazyagg查询重写优化后，对满足条件的场景会优化并消除子查询中的聚集操作。原计划如下所示：

lazyagg重写优化后计划如下所示：

可以看到相比于原计划，lazyagg重写优化后消除掉了原计划中的聚集操作，即7号Subquery Scan算子和8号HashAggregate算子。

三、lazyagg优化规格

支持子查询为单一聚集查询或包含聚集子集合操作的查询。集合操作仅支持UNION ALL，可对部分分支子查询进行聚集运算消除。子查询需为JOIN表之一（不在TargetList、Where子句等其他位置）。
支持若外部查询的所有Agg参数列包含于其某个子查询的Agg函数列，则可对该子查询的聚集运算进行消除。
支持所有消除子查询聚集运算后结果正确的聚集函数种类。聚集函数种类结果正确性见下表：

场景约束
在上述场景扩展的基础上，对于可能导致结果错误的场景，不进行查询重写，包括但不限于：

不支持消除的Agg函数类型。
子查询中包含其它条件或算子，会导致重写后结果错误，例如HAVING、window agg、LIMIT、OFFSET、AP function、distinct、recursive等。
外层Agg参数列、GROUP BY列或JOIN列中包含volatile函数，如random、timeofday等。
子查询Agg函数外、外部查询Agg函数内有其他表达式或函数操作，如子查询Agg函数列为sum©+1、max©+max(d)，外部查询Agg函数列为sum(cc+1)等。
外部查询的JOIN列、GROUP BY列或其它条件中包含子查询Agg函数列。
子查询在LEFT JOIN、RIGHT JOIN的inner边或FULL JOIN中，且子查询Agg函数为count，外部查询Agg函数为sum的。

四、结语

通过本文的分析，相信用户朋友已经充分了解了Lazy Agg重写优化的使用场景，以及GaussDB(DWS)的lazyagg实现方式。希望广大用户能够通过深入的了解，对GaussDB(DWS)的性能调优产生浓厚的兴趣并深度参与进来。

参考文档：
GaussDB(DWS)性能调优系列实战篇四：十八般武艺之SQL改写

理论不如实践，那如何快速体验DWS呢？DWS现推出了一项Demo体验活动。进入DWS首页，点击“Demo体验”，快速便捷体验一把！（体验过程中有任何建议和意见，可以去DWS社区论坛反馈哦）

点击关注，第一时间了解华为云新鲜技术~

27

4

0

文章推荐：图的广度优先遍历

文章推荐： C++模板

文章推荐：【Flink】Flink源码分析——批处理模式JobGraph的创建

文章推荐： Base64编码知识详解

c++ - 为什么 MSVC 不为 char 或 const char* 优化 cout 而为 int 优化？
比较代码: const char x = 'a'; std::cout > (0C310B0h) 00C3100B add esp,4 和 const i
Matlab 优化
您好，我正在使用 Matlab 优化求解器，但程序有问题。我收到此消息 fmincon 已停止，因为目标函数值小于目标函数限制的默认值，并且约束满足在约束容差的默认值范围内。我也收到以下消息。警告:矩
Eclipse 优化
处理Visual Studio optimizations的问题为我节省了大量启动和使用它的时间当我必须进行 J2EE 开发时，我很难回到 Eclipse。因此，我还想知道人们是否有任何提示或技巧可
Excel 优化
情况如下:在我的 Excel 工作表中，有一列包含 1-name 形式的条目。考虑到数字也可以是两位数，我想删除这些数字。这本身不是问题，我让它工作了，只是性能太糟糕了。现在我的程序每个单元格输入大约
jQuery 优化
这样做有什么区别吗: $(".topHorzNavLink").click(function() { var theHoverContainer = $("#hoverContainer");
jQuery $(this) 优化
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: What is the cost of '$(this)'? 我经常在一些开发人员代码中看到$(this)引用同一个
jQuery 优化
我刚刚结束了一个大型开发项目。我们的时间紧迫，因此很多优化被“推迟”。既然我们已经达到了最后期限，我们将回去尝试优化事情。我的问题是:优化 jQuery 网站时您要寻找的最重要的东西是什么。或者，我
JavaScript 优化
所以我一直在用 JavaScript 编写游戏(不是网络游戏，而是使用 JavaScript 恰好是脚本语言的游戏引擎)。不幸的是，游戏引擎的 JavaScript 引擎是 SpiderMonkey
MYSQL查询、优化
这是我在正在构建的页面中使用的 SQL 查询。它目前运行大约 8 秒并返回 12000 条记录，这是正确的，但我想知道您是否可以就如何使其更快提出可能的建议？ SELECT DISTINCT Adve
SQL 优化
如何优化这个？ SELECT e.attr_id, e.sku, a.value FROM product_attr AS e, product_attr_text AS a WHERE e.attr
python - 优化 `in`
我正在使用这样的结构来测试是否按下了所需的键: def eventFilter(self, tableView, event): if event.type() == QtCore.QEven
JavaScript 优化
我正在使用 JavaScript 从给定的球员列表中计算出羽毛球 double 比赛的所有组合。每个玩家都与其他人组队。 EG。如果我有以下球员a、b、c、d。它们的组合可以是: a & b V c
Javascript 优化
我似乎无法弄清楚如何让这个 JS 工作。 scroll function 起作用但不能隐藏。还有没有办法用更少的代码行来做到这一点？我希望 .down-arrow 在 50px 之后 fade out
CSS高级最小化(优化)
我的问题是关于用于生产的高级优化级联样式表 (CSS) 文件。多么最新和最完整(准备在实时元素中使用)的 css 优化器/最小化器，它们不仅提供删除空格和换行符，还提供高级功能，如删除过多的属性、合
HTML 优化
我读过这个: 浏览器检索在中请求的所有资源开始呈现之前的 HTML 部分.如果您将请求放在中section 而不是，那么页面呈现和下载资源可以并行发生。您应该从移动尽可能多的资源请求。
C++ 优化
我正在处理一些现有的 C++ 代码，这些代码看起来写得不好，而且调用频率很高。我想知道我是否应该花时间更改它，或者编译器是否已经在优化问题。我正在使用 Visual Studio 2008。这是一
c++ - 优化
我正在尝试使用 OpenGL 渲染 3 个四边形(1 个背景图，2 个 Sprite )。我有以下代码: void GLRenderer::onDrawObjects(long p_dt) {
Java If 优化
我确实有以下声明: isEnabled = false; if(foo(arg) && isEnabled) { .... } public boolean foo(arg) { some re
SQL 优化
(一)深入浅出理解索引结构实际上，您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引：聚集索引(clustered index，也称聚类索引、簇集索引)和非聚集索引(no
CSS 优化、提高性能的方法有哪些？
一、写在前面 css的优化方案，之前没有提及，所以接下来进行总结一下。二、具体优化方案 2.1、加载性能 1、css压缩：将写好的css进行打包，可以减少很多的体积。 2、css单一样式：在需要下边

首页

博学

6Ren·AI

商城