map - 同步hadoop中的多个map reduce作业

Question

我有一个用例，其中多个作业可以同时运行。所有作业的输出将必须与HDFS(包含键值对)中的通用主文件合并，该文件没有重复项。我不确定如何避免在这种情况下可能出现的竞争状况。例如，作业1和作业2同时将相同的值写入主文件，从而导致重复。感谢您的帮助。

Answer 1

Apache Hadoop不支持并行写入同一文件。这是reference。

Files in HDFS are write-once and have strictly one writer at any time.

因此，多个 map /作业无法同时写入同一文件。必须编写另一个作业/ shell或任何其他程序以合并多个作业的输出。