hadoop - Impala 和 mem_limit

Question

我听到一个“谣言”说 Cloudera 的 set mem_limit=xxx;更像是 throttle 而不是 parking 标志。然而，我对它的体验让我相信它是一个 parking 标志:
如果查询超出内存限制，它只会使查询因错误而崩溃，而不是使查询更加节俭。
是否有任何证据支持 Impala 会使查询运行时间更长但速度更慢且内存更少以保持在 mem_limit 阈值以下的概念？

Answer 1

我可以证实“谣言”。我在 Impala 中从事溢出到磁盘支持和其他内存管理工作，因此它确实存在并且有效。
给定查询和错误的版本和示例，我可以更具体。随着我们修复和改进越来越多的案例，这已从一个版本到另一个版本逐步改进。 Impala 3.1 进行了大部分改进，但在此之前和之后都有重大改进。
在一些已知的情况下，即使在最新和最大的情况下，您也会遇到超出内存限制的情况。例如，一个大的交叉连接最终会耗尽内存。