hadoop - 什么是 "HDFS write pipeline"？

Question

当我阅读 hadoop 权威指南时，我停留在以下句子:-

writing the reduce output does consume network bandwidth, but only as much as a normal HDFS write pipeline consumes.

问题:1. 能否帮助我更详细地理解上面的句子。2. “HDFS 写入管道”是什么意思？

Answer 1

当文件被写入 HDFS 时，许多与 HDFS block 一致性和复制相关的事情正在幕后发生。这个过程的主要 IO 组件是 far 复制。还有与注册 block 的存在和状态的名称节点的双向通信。

我认为当它说“写入管道”时，它只是指以下过程:

1. 创建 block
2. 在 NN 注册
3. 执行复制
4. 写入磁盘
5. 维护整个集群的 block 状态(位置、已锁定、上次更新、校验和等)