hadoop - 将数据上传/插入到 HDFS 时是否涉及映射器 reducer ？

Question

我在这里有一个很大的困惑。当我们将数据上传/插入/放入 HADOOP HDFS 时，我们知道数据是根据 block 大小存储在 block 中的和复制因子。此外，Map reduce 仅在处理数据时起作用。

当我在我的一个表中插入任何数据时，我正在使用 MRV2，我可以看到有 MAP REDUCE 进度条。那么这里的确切图片是什么。实际上，插入时涉及映射器和缩减器/正在将数据上传到 HDFS？

Answer 1

是否需要 MapReduce 取决于写入操作的类型。

hdfs dfs -put 或 -copyFromLocal 等操作在将数据从 LocalFS 写入 HDFS 时不使用 MapReduce。而 DistCp，执行集群间/集群内 HDFS 数据复制，使用 Mappers。同样，Sqoop 使用映射器将数据导入 HDFS。 Hive 的 LOAD 语句不会，而 INSERT 会。

而且它们是 Mapper only MapReduce 作业。

I'm using MRV2 when i insert any data in one of my table

我假设，您正在将数据插入到 Hive 表中。 Hive 中的 INSERT 语句使用 Mappers。

are there an mappers and reducers involved while insertion/uploading the data to HDFS?

并不总是。基于写操作，涉及映射器。