greenplum - 如何增加 greenplum 并发度和每秒查询数

Question

我们有一个相当大的 Greenplum v4.3 集群。 18台主机，每台主机有3个segment节点。每台主机大约有40个核心和60G内存。

我们的表有 30 列宽，有 1 亿行。我们正在测试的查询在没有并发压力时的响应时间为 3-10 秒。随着我们增加并行触发的查询数量，延迟从平均 3 秒减少到预期的 50 秒左右。

但我们发现，无论我们并行触发多少个查询，我们的 QPS(每秒查询数)都非常低，几乎只有 3-5 个查询/秒。我们设置了max_memory=60G、memory_limit=800MB、active_statments=100，希望CPU和内存能够得到高利用率，但是利用率仍然很低，大概在30%-40%左右。

我有一种强烈的感觉，我们试图严重并行地喂养集群，希望充分利用 CPU 和内存利用率。但它并没有像我们预期的那样工作。是不是设置有问题？或者还有什么我不知道的吗？

Answer 1

造成这种行为的原因可能有多种。

首先，每个 Greenplum 查询在一个逻辑段上使用不超过一个处理器核心。假设每个节点上有 3 个段，有 40 个物理核心。运行两个并行查询将在每个节点上利用最大 2 x 3 = 6 核心，因此您将需要大约 40/6 ~= 6 并行查询来利用所有 CPU 。因此，对于每个节点的核心数量，最好创建更多段(gpexpand 可以做到这一点)。顺便问一下，查询中使用的表是否已压缩？

其次，这可能是一个错误的查询。如果您提供查询计划，可能会有助于理解。 Greenplum 中的某些查询类型可能会以 master 为瓶颈。

最后，这可能是一些错误的操作系统或 blockdev 设置。