apache-spark - HDP + ambari + yarn 节点标签和HDFS

Question

我们有Hadoop集群(具有ambari的HDP 2.6.4集群，具有5个datanodes机器)
我们正在使用Spark Streaming应用程序(在Hortonworks 2.6.x上运行的Spark 2.1)
当前情况是， Spark 流应用程序在所有datanodes机器上运行
如 yarn 节点标签所知，我们可以使Spark Streaming应用程序仅在第一台 2 数据节点机器上运行
因此，例如，如果我们在第一台 2台数据节点机器上配置了 yarn 节点标签，则在其他3台数据节点机器上配置了 yarn 应用程序，因为禁用了 yarn 节点标签
我的问题是- yarn 节点标签是否还可以在最后3个数据节点机器上禁用HDFS((以避免在最后3个数据节点上复制HDFS))
引用-http://crazyadmins.com/configure-node-labels-on-yarn/

Answer 1

您不能在数据节点上禁用HDFS。如果这样做，那么从定义上讲，它就不是HDFS的一部分，这意味着您基本上是在卸载HDFS服务并将其从群集中删除。
节点标签控制哪些NodeManager运行代码，而不控制DataNode。
您可能让NodeManangers在DataNodes之外运行，但这违反了使用HDFS“将计算移至数据”功能的目的，从而导致作业运行较慢