gpt4 book ai didi

hadoop - 从两个映射器写入同一文件

转载 作者:行者123 更新时间:2023-12-02 21:57:54 26 4
gpt4 key购买 nike

在Hadoop MR(基本上是HDFS)中,是否可以以同步/序列化方式从属于单个作业的两个映射器写入同一文件?

还要以串行方式从运行在不同作业中的两个映射器写入单个文件吗?

其他文件系统中有信号灯。 HDFS的机制是什么?

最佳答案

  • Hadoop中的映射任务之间没有通信,因此它们之间无法进行某种同步。
  • HDFS中的
  • 文件可以由一个编写者编写,而许多读者可以读取它。
  • 我认为MapR允许多个编写者编写同一个文件。

  • 仅供引用,必须在文件末尾附加文件,也不能对任意偏移量进行修改。

    很好奇,将多个 map task 写入单个文件的用例是什么?

    关于hadoop - 从两个映射器写入同一文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8861028/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com