hadoop - Hive 阶段 mapreduce

Question

我是 Hive 的新手。我几乎没有怀疑。

1. 我想知道 Hive 如何将查询转换为 MapReduce 作业？

2. 我查看了解释命令，它为我提供了一个阶段计划，并且依赖项。我想知道阶段的细节。这些阶段如何有定义吗？

3. 如何控制 MapReduce 的执行。假设我想改变Reduce join 到 map side join。

Answer 1

在抽象层面上，当你在hive中执行查询时会发生以下事情

1. 解析查询并创建抽象语法树
2. 然后将 AST 转换为 MapReduce 任务的 DAG
3. 然后为每个 MapReduce 任务创建一个 Runnable。
4. 然后 MapReduce 任务将被序列化为 xml 文件(存储在/tmp/hive-${user.name}/)
5. 执行引擎将反序列化这个xml文件并执行任务

我希望这能回答您的问题 1 和 2。您可以从 here 阅读更多内容

对于问题 3，我相信 hive 会在可能的情况下自动执行 map-side join。检查HIVE-3784
在此之前，您必须在配置单元查询中给出提示才能进行 map 边连接。看这个link

要了解有关连接如何在 Hive 中工作的更多信息，请参阅此 link