gpt4 book ai didi

hadoop - Hadoop yarn 资源管理

转载 作者:行者123 更新时间:2023-12-02 21:48:45 28 4
gpt4 key购买 nike

我有一个包含10个节点的Hadoop集群。在10个节点中,有3个部署了HBase。有两个共享集群的应用程序。
应用程序1从hadoop HDF写入和读取数据。应用程序2将数据存储到HBase中。有没有办法确保Hadoop的M / R工作启动
按应用程序1是否不使用Hbase节点上的插槽?我只希望应用程序2启动的Hbase M / R作业使用HBase节点。
需要这样做以确保有足够的资源可用于应用程序2,以便HBase扫描非常快。

关于如何实现这一目标的任何建议?

最佳答案

如果在 yarn 上运行HBase和应用程序,则应用程序主控(HBase本身和MR作业的主控方)可以请求数据节点上的最大可用资源。

您是否知道hortonworks项目Hoya = HBase on Yarn?

特别是其中一项功能是:

Run MR jobs while maintaining HBase’s low latency SLAs

关于hadoop - Hadoop yarn 资源管理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22877321/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com