apache-spark - Spark SQL 是否包括用于连接的表流优化？

Question

Spark SQL 是否包括用于连接的表流优化，如果是，它如何决定流哪个表？

在进行连接时，Hive 假定最后一个表是最大的。作为连接优化，它会尝试缓冲较小的连接表并将最后一个连接表通过。如果连接列表中的最后一个表不是最大的，则 Hive 具有 /*+ STREAMTABLE(tbl) */提示它告诉它应该流式传输的表。从 v1.4.1 开始，Spark SQL 不支持 STREAMTABLE 提示。

这个问题是在 Spark SQL 之外的正常 RDD 处理中被问到的，here .答案不适用于开发人员无法控制显式缓存操作的 Spark SQL。

Answer 1

前段时间我一直在寻找这个问题的答案，我所能想到的就是设置一个 spark.sql.autoBroadcastJoinThreshold参数，默认为 10 MB。然后它将尝试自动广播大小小于您设置的限制的所有表。联接顺序在此设置中不起作用。

如果您有兴趣进一步提高连接性能，我强烈推荐 this presentation .