Azure 数据流-源查询下推

Question

我的数据流作业将源和接收器作为突触数据库。

我在从突触数据库提取数据时有一个源查询，其中包含数据流中的联接和转换。

众所周知，底层的数据流将启动 databricks 集群来执行数据流代码。

我的问题是，我在数据流中使用的源查询将在 synapse db/databricks 集群上执行吗？

Answer 1

数据流需要计算上下文，即 Spark。当您在转换中使用查询时，该查询将从 Spark 集群执行，该集群实际上会被推送到数据库引擎中进行解析。