apache-spark - Spark - 如何使用 - Thrift - Hive Interactor 获取逻辑/物理查询执行

Question

Spark - 如何使用以下方法获取逻辑/物理查询执行

通过节俭

通过 SparkInteractor

Answer 1

您可以通过 thrift 在直线中使用带有查询的解释语句，如下所示。

EXPLAIN EXTENDED select * from sr23 join sr12 [<join condidtion>]

你的意思是 Spark 拦截器。？它是spark-sql shell。？如果是，那么您可以使用上述查询。

如果您的意思是 spark-shell，那么您需要在数据帧上调用 Explain() 函数。

例如:

val df1 = sqlContext.sql(" < your sql query > ");

df1.explain;

这将给出物理和逻辑计划。您还可以从 SQL 选项卡中的 Spark Web UI 中查看它们。