gpt4 book ai didi

hadoop - yarn 在运行 hive 作业时使用了 100% 的资源

转载 作者:可可西里 更新时间:2023-11-01 15:05:19 24 4
gpt4 key购买 nike

我正在运行一个 hive tez 作业。工作是将数据从一个文本文件格式的表加载到另一个 orc 格式的表中。

我在用

INSERT INTO TABLE ORDERREQUEST_ORC 
PARTITION(DATE)
SELECT
COLUMN1,
COLUMN2,
COLUMN3,
DATE
FROM ORDERREQUEST_TXT;

当我通过 ambari web 控制台监控作业时,我看到 YARN 内存使用率为 100%。

能否请您建议如何保持健康的 yarn 内存。

所有三个数据节点的平均负载;

 1. top - 17:37:24 up 50 days, 3:47, 4 users, load average: 15.73, 16.43, 13.52 
2. top - 17:38:25 up 50 days, 3:48, 2 users, load average: 16.14, 15.19, 12.50
3. top - 17:39:26 up 50 days, 3:49, 1 user, load average: 11.89, 12.54, 10.49

这些是 yarn 配置

 yarn.scheduler.minimum-allocation-mb=5120 
yarn.scheduler.maximum-allocation-mb=46080
yarn.nodemanager.resource.memory-mb=46080

仅供引用:- 我的集群配置

 Nodes = 4 (1 Master, 3 DN ) 
memory = 64 GB on each node
Processors = 6 on each node
1 TB on each node (5 Disk * 200 GB)

如何减少 yarn 使用内存?

最佳答案

您收到错误消息是因为集群尚未配置为为每个用户分配最大 yarn 内存。

请在 Yarn 配置中设置以下属性,为每个作业分配 33% 的最大 yarn 内存,可以根据您的要求进行更改。

更改自:

yarn.scheduler.capacity.root.default.user-limit-factor=1

收件人:

yarn.scheduler.capacity.root.default.user-limit-factor=0.33

如果您需要这方面的更多信息,请引用以下链接 https://analyticsanvil.wordpress.com/2015/08/16/managing-yarn-memory-with-multiple-hive-users/

关于hadoop - yarn 在运行 hive 作业时使用了 100% 的资源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31250896/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com