gpt4 book ai didi

sql - Vertica 和连接

转载 作者:行者123 更新时间:2023-12-03 15:03:08 25 4
gpt4 key购买 nike

我正在调整一个网络分析工具来使用 Vertica作为数据库。我遇到了真正的问题 optimizing joins .我尝试为我的一些查询创建预连接预测,虽然它确实使查询速度非常快,但它减慢了数据加载到事实表中的速度。

一个简单的INSERT INTO ... SELECT * FROM我们用来将数据从临时表加载到事实表中的时间从大约 5 秒到 20 分钟以上。

因此,我放弃了所有预连接投影,并尝试使用数据库设计器来设计查询特定的投影,但这还不够。即使使用这些投影,一个简单的连接也需要大约 14 秒,而预连接投影需要大约 1 秒。

我的问题是:预连接投影如此缓慢地插入数据是否正常,如果不是,罪魁祸首是什么?如果它是正常的,那么它对我们来说是一个阻碍,我们是否可以使用其他技术来加速连接?

我们在 5 节点集群上运行 Vertica,每个节点具有 2 个四核 CPU 和 32 GB 内存。我的示例查询中的表分别有 188,843,085 和 25,712,878 行。

EXPLAIN 输出如下所示:

EXPLAIN SELECT referer_via_.url as referralPageUrl, COUNT(DISTINCT sessio
n.id) as visits FROM owa_session as session JOIN owa_referer AS referer_vi
a_ ON session.referer_id = referer_via_.id WHERE session.yyyymmdd BETWEEN
'20121123' AND '20121123' AND session.site_id = '49' GROUP BY referer_via_
.url ORDER BY visits DESC LIMIT 250;

Access Path:
+-SELECT LIMIT 250 [Cost: 1M, Rows: 250 (STALE STATISTICS)] (PATH ID: 0)
| Output Only: 250 tuples
| Execute on: Query Initiator
| +---> SORT [Cost: 1M, Rows: 1 (STALE STATISTICS)] (PATH ID: 1)
| | Order: count(DISTINCT "session".id) DESC
| | Output Only: 250 tuples
| | Execute on: All Nodes
| | +---> GROUPBY PIPELINED (RESEGMENT GROUPS) [Cost: 1M, Rows: 1 (STALE
STATISTICS)] (PATH ID: 2)
| | | Aggregates: count(DISTINCT "session".id)
| | | Group By: referer_via_.url
| | | Execute on: All Nodes
| | | +---> GROUPBY HASH (SORT OUTPUT) (RESEGMENT GROUPS) [Cost: 1M, Rows
: 1 (STALE STATISTICS)] (PATH ID: 3)
| | | | Group By: referer_via_.url, "session".id
| | | | Execute on: All Nodes
| | | | +---> JOIN HASH [Cost: 1M, Rows: 1 (STALE STATISTICS)] (PATH ID:
4) Outer (RESEGMENT)
| | | | | Join Cond: ("session".referer_id = referer_via_.id)
| | | | | Execute on: All Nodes
| | | | | +-- Outer -> STORAGE ACCESS for session [Cost: 463, Rows: 1 (ST
ALE STATISTICS)] (PUSHED GROUPING) (PATH ID: 5)
| | | | | | Projection: public.owa_session_projection
| | | | | | Materialize: "session".id, "session".referer_id
| | | | | | Filter: ("session".site_id = '49')
| | | | | | Filter: (("session".yyyymmdd >= 20121123) AND ("session"
.yyyymmdd <= 20121123))
| | | | | | Execute on: All Nodes
| | | | | +-- Inner -> STORAGE ACCESS for referer_via_ [Cost: 293K, Rows:
26M] (PATH ID: 6)
| | | | | | Projection: public.owa_referer_DBD_1_seg_Potency_2012112
2_Potency_20121122
| | | | | | Materialize: referer_via_.id, referer_via_.url
| | | | | | Execute on: All Nodes

最佳答案

要加速加入:

  • 将 session 表设计为在“yyyymmdd”列上进行分区。这将启用分区修剪
  • 将“yyyymmdd”列的条件添加到 _referer_via_ 并对其进行分区,如果可能(很可能不是)
  • 在 session 的已使用( super )投影中将列 site_id 尽可能靠近按列表排序的开头
  • 将两个表分别在 referer_id 和 id 上分段。

  • 在集群中拥有更多节点确实有帮助。

    关于sql - Vertica 和连接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13531279/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com