scala - 如何在 Spark SQL 中使用 CROSS JOIN 和 CROSS APPLY

Question

我对 Spark 和 Scala 很陌生，我正在编写 Spark SQL 代码。我可以在我的逻辑中应用 CROSS JOIN 和 CROSS APPLY。在这里，我将发布必须转换为 Spark SQL 的 SQL 查询。

select Table1.Column1,Table2.Column2,Table3.Column3
from Table1 CROSS JOIN Table2 CROSS APPLY Table3

我需要将上述查询转换为 Spark SQL 中的 SQLContext。请帮助我。提前致谢。

Answer 1

首先在 spark conf 中设置以下属性

spark.sql.crossJoin.enabled=true

然后 dataFrame1.join(dataFrame2) 将做 Cross/Cartesian join，

我们也可以使用下面的查询来做同样的事情

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...")