gpt4 book ai didi

Hadoop shuffle 使用哪种协议(protocol)?

转载 作者:可可西里 更新时间:2023-11-01 14:50:44 24 4
gpt4 key购买 nike

在 Hadoop 数据的洗牌阶段,映射数据在集群的节点之间传输根据 reducer 的分区。Hadoop 使用什么协议(protocol)在 reduce 阶段跨节点执行数据洗牌?

最佳答案

我第一次真的笑了,但是整个洗牌和合并是由一个HTTPServlet完成的。

您可以在匿名类 MapOutputServletTasktrackers 源代码中看到这一点。它获取带有任务和作业 ID 的 HTTP 请求,然后它将传输传入的输入流进入磁盘上的本地文件系统。

关于Hadoop shuffle 使用哪种协议(protocol)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8285217/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com