hadoop - 有了Hive TEZ，Hive的LLAP有什么用？

Question

在我们的项目中，我们将数据从 Greenplum 数据库加载到 HDFS (HIVE)。最近，我了解到 Hive2 有一个新的包，“LLAP”。我一直对 LLAP 的概念感到困惑。LLAP 的具体用途是什么？当我们已经有了 Hive 的 TEZ Engine 时，LLAP 有什么用呢？我们项目中的一位开发人员告诉我，我们正在使用 Hive LLAP 将数据加载到 HDFS Hive 表中。使用 LLAP 是一种好习惯吗？如果不是，为什么不是？

任何人都可以让我清楚地了解上述问题吗？

Answer 1

https://cwiki.apache.org/confluence/display/Hive/LLAP是了解 Hive Live Long And Process (LLAP) 的好地方。

如链接所示

LLAP works within existing, process-based Hive execution to preserve the scalability and versatility of Hive. It does not replace the existing execution model but rather enhances it.

和

LLAP is not an execution engine (like MapReduce or Tez)

相反，它提供了一个长期存在的守护进程(因此首字母缩写词的 LL 部分)来替换与 DataNode 的交互，并且该守护进程还提供缓存、预取和一些查询处理。这允许简单的查询主要由守护程序本身处理，更复杂的查询像往常一样在 YARN 容器中执行。

该链接还展示了 Tez AM 如何置于所有这些之上，并提交通过 LLAP 运行的 Hive 任​​务，LLAP 根据需要与 DataNode 交互。在该示例中，查询的初始阶段被推送到 LLAP 中，但大型随机播放是在单独的容器中执行的。