apache-spark - 如何在 Spark 2 中启用 Tungsten 优化？

Question

我刚刚构建了带有 hive 支持的 Spark 2，并将其部署到带有 Hortonworks 2.3.4 的集群中。但是我发现这个 Spark 2.0.3 比 HDP 2.3 附带的标准 spark 1.5.3 慢

当我查看 explain似乎我的 Spark 2.0.3 没有使用钨。我是否需要创建特殊版本才能启用 Tungsten？

Spark 1.5.3 解释

== Physical Plan ==
TungstenAggregate(key=[id#2], functions=[], output=[id#2])
TungstenExchange hashpartitioning(id#2)
TungstenAggregate(key=[id#2], functions=[], output=[id#2])
HiveTableScan [id#2], (MetastoreRelation default, testing, None)

Spark 2.0.3

== Physical Plan ==
*HashAggregate(keys=[id#2481], functions=[])
  +- Exchange hashpartitioning(id#2481, 72)
  +- *HashAggregate(keys=[id#2481], functions=[])
  +- HiveTableScan [id#2481], MetastoreRelation default, testing

Answer 1

它仍然使用钨，类更名为:https://github.com/apache/spark/commit/8900c8d8ff1614b5ec5a2ce213832fa13462b4d4