hadoop - 如何确定 YARN 容器的正确数量？

Question

我的问题是关于 YARN 的配置。如何确定集群中需要多少个容器？换句话说，我需要考虑什么才能为每个容器设置正确的内存/CPU 数量？

大小调整有一些最佳实践吗？

谢谢。

Answer 1

无法从 hortonworks 发表评论，但大小应该与 cloudera 相同

中央处理器

1 个 vcore 专用于操作系统1 个 vcore 到 hdfs 数据节点1 个 vcore 用于节点管理器供应商代理的 1 个 vcore(这纯粹是为了 cloudera，假设有一个 ambari 等效项)

所有其他我会分配给 yarn 容器。我会将 vcore 多人游戏分配给 4

内存

为你的操作系统预留一些，这取决于你的操作系统，但它会在 4-8GB 之间为你的 hdfs 数据节点和你的节点管理器带走 ram(每个最小 1gb)带走为其他服务保留的任何额外 ram将其余部分分配给 yarn 。