hive - 您能否解释何时以及为何在 hive 中调用mapreduce

Question

select * from Table_name limit 5;

select col1_name,col2_name from table_name limit 5;

当我运行第一个查询时，将不会调用MapReduce，而对于其他查询，则将调用MapReduce。您能否解释一下原因。

Answer 1

要了解原因，首先我们需要知道什么是映射和归约阶段是什么意思:-

map :基本上是一个过滤器，用于按排序的顺序过滤和组织数据。例如它将在第二个查询中的一行中过滤col1_name和col2_name。但是，在第一个查询中，您正在读取每一列，不需要过滤。因此，没有Map阶段

减少:减少只是行中的摘要操作数据。例如一言以蔽之!在这两个查询中，您都不需要任何摘要数据。因此没有 reducer 。

因此，第一个查询没有map-reduce，第二个查询只有mappers但没有reduce。