apache-spark - Databricks 光子与催化剂优化器

Question

我正在阅读由光子驱动的 delta 引擎的新数据 block 功能。从我阅读的理解来看，我觉得它类似于催化剂优化器。光子会取代催化剂吗？

光子引擎与催化剂优化器有何不同

链接在下面引用

https://databricks.com/blog/2020/06/24/introducing-delta-engine.html

Answer 1

我认为您将两件事混为一谈:

• Catalyst 优化器即将出现“执行查询的步骤”。例如，优化器将决定如何以及何时进行连接、聚合、过滤器等。何时应该做什么。这在技术术语中也称为“Physical Plan”。 (催化剂优化器更多用于逻辑规划，但这是一个更精细的细节)
• 执行引擎实际上是执行优化器决定的步骤的引擎。它不会再猜测这些步骤，而是确保尽可能高效地执行它们。

Delta Engine(或 Photon)是一个执行引擎，而不是优化器。它与目前开源 Spark 中可用的 Tungsten(全阶段代码生成)执行引擎更直接可比。 Tungsten 和 Delta-Engine 都是执行引擎。