gpt4 book ai didi

hadoop - 将数据上传/插入到 HDFS 时是否涉及映射器 reducer ?

转载 作者:可可西里 更新时间:2023-11-01 15:27:03 24 4
gpt4 key购买 nike

我在这里有一个很大的困惑。当我们将数据上传/插入/放入 HADOOP HDFS 时,我们知道数据是根据 block 大小存储在 block 中的和复制因子。此外,Map reduce 仅在处理数据时起作用。

当我在我的一个表中插入任何数据时,我正在使用 MRV2,我可以看到有 MAP REDUCE 进度条。那么这里的确切图片是什么。实际上,插入时涉及映射器和缩减器/正在将数据上传到 HDFS?

最佳答案

是否需要 MapReduce 取决于写入操作的类型。

hdfs dfs -put-copyFromLocal 等操作在将数据从 LocalFS 写入 HDFS 时不使用 MapReduce。而 DistCp,执行集群间/集群内 HDFS 数据复制,使用 Mappers。同样,Sqoop 使用映射器将数据导入 HDFS。 Hive 的 LOAD 语句不会,而 INSERT 会。

而且它们是 Mapper only MapReduce 作业。

I'm using MRV2 when i insert any data in one of my table

我假设,您正在将数据插入到 Hive 表中。 Hive 中的 INSERT 语句使用 Mappers。

are there an mappers and reducers involved while insertion/uploading the data to HDFS?

并不总是。基于写操作,涉及映射器。

关于hadoop - 将数据上传/插入到 HDFS 时是否涉及映射器 reducer ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43310964/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com