hadoop - 使用静态池cgroup限制Hue资源

Question

我了解您可以通过静态服务池中的cgroup限制Hadoop服务。我想限制Hue服务，因为有时它会耗尽Edge节点上的所有内存，并损害我们的加载过程。
但是，我无法在静态服务池配置中找到Hue-它仅给我提供了选择-HDFS，Impala，YARN，Hbase。
可以在这里完成色相设置，还是我需要在其他地方进行？

谢谢。

Answer 1

在这种情况下，您可以尝试在Cloudera Manager Hue配置页面中设置cgroup内存软限制，但是我认为这不会有太大帮助。由于Python的内存碎片，这是Hue中的一个已知问题。 Hue中有一些可能触发它的常见操作，例如下载大型查询结果集(超过10M)或使用HDFS文件浏览器浏览包含大量文件(超过1000个)的HDFS目录。要求您的用户不要执行这些操作。

如果此内存问题持续发生，则可以使用https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.sh上的脚本来设置cron作业。该脚本监视Hue进程的内存使用情况，如果使用过多，则将其杀死。您需要将Cloudera Manager配置为自动重新启动Hue。

当然，杀死Hue不是一个理想的解决方案。您可以做的是在多个Hue实例前面使用负载均衡器设置 Hue HA ，以缓解此问题。您可以按照https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hue_config.html文档进行设置