hadoop - 正在忙于运行map reducer作业时写入hadoop集群

Question

我知道Hadoop具有Fair Scheduler，我们可以在其中将作业分配给某个优先级组，并且根据优先级将群集资源分配给该作业。我不确定和要问的是Hadoop集群如何优先处理非 map 红色程序。具体来说，当集群忙于运行 map 红色作业时，Hadoop将优先考虑如何通过外部客户端(例如，一些直接打开HDFS文件并向其流数据的独立程序)写入Hadoop。

Answer 1

资源管理器只能确定提交给它的作业的优先级(例如MapReduce应用程序，Spark作业等)。

除了distcp之外，HDFS操作仅与NameNode和Datanode交互而不与Resource Manager交互，因此NameNode将按照接收顺序对其进行处理。