gpt4 book ai didi

apache-spark - 为什么使用 Hive on Spark 而不是 Spark-SQL?

转载 作者:行者123 更新时间:2023-12-02 21:16:44 25 4
gpt4 key购买 nike

我是数据科学领域的新手,我不明白为什么有人想要将 Hive 连接到 Spark,而不是仅仅使用 Sqark-SQL。

在 Spark 上使用 Hive 而不是 Spark-SQL 有什么好处(除了能够使用已经在生产中的 Hive 代码)?

谢谢

最佳答案

上面的答案不正确。 Hive 和 SparkSQL 之间共有的一个组件是 SemanticAnalyzer 。Hive 具有更好的 SQL 支持和更复杂的基于成本的优化器。我的建议是使用 Tez 上的 Hive,而不是 Spark 或 SparkSQL 上的 Hive,因为它已做好生产准备,更稳定且可扩展。

关于apache-spark - 为什么使用 Hive on Spark 而不是 Spark-SQL?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30196290/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com