hadoop - CTE 的即时评估

Question

我正在尝试优化包含多个 CTE 的非常长且复杂的 impala 查询。每个 CTE 被多次使用。我的期望是，一旦创建了 CTE，我应该能够指示 impala 该 CTE 的结果应该按原样在主查询中重新使用，而不是再次使用主查询对 CTE 中涉及的表进行 SCAN HDFS 操作。这可能吗？如果是怎么办？

我使用的是 impalad 版本 2.1.1-cdh5 RELEASE (build 7901877736e29716147c4804b0841afc4ebc9037) 版本

Answer 1

我不这么认为。我相信 WITH 子句不会创建任何永久对象，它只是为了避免使用新表或 View 使命名空间困惑，并使通过 reor 重构大型复杂查询变得更容易。订购和更换各自的零件。 WITH 子句中使用的查询是有朝一日成为 View 或在 ETL 过程中具体化为汇总表的良好候选者。