个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
我是 yarn 的新手，我正在用 Java 编写一个 YARN 应用程序。根据要求，我只能在一台机器上使用 N 个物理内核。 YARN 允许设置我想分配给我的应用程序的 VCore 数和内存。是否可以确定给定 N 个物理核心的 VCore 数量？
例如。如果我有 32 个物理内核，而我只想使用 8 个物理内核，那么我的应用程序的 VCore 数应该是多少？
最佳答案
使用 8
In almost all cases, a node’s virtual core capacity should be set as the number of physical cores on the machine.
http://blog.cloudera.com/blog/2013/12/managing-multiple-resources-in-hadoop-2-with-yarn/
关于java - YARN 上可用的物理内核数和 VCores 之间的关系？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30715073/
25
4
0
当我尝试在 Azure 中运行简单的 pyspark 脚本时，遇到了以下问题: %%pysparkdf = Spark.read.load('abfss://[email protected]/use
我实际上是想弄清楚单个节点管理器中有多少个容器。它取决于哪些因素？ “yarn.scheduler.minimum-allocation-vcores”和“yarn.scheduler.maximum
我们有一种为 sql 弹性池实现的负载均衡器。基本上，它会合并两个池，或拆分两个池，或根据一些引用设置(计算、存储等)和我们从 SQL Server 获得的统计信息扩展存储。在某些情况下，作为将池拆分
我在 yarn-site.xml 中将我的最大分配 vcores 设置为 1，并将物理核心数设置为 2。所有节点都相同。然而，有时，YARN 会为一个节点分配 3 个容器。它报告该节点上有 -1 个
我有 3 个 yarn 节点管理器在 yarn 集群中工作，并且存在与每个 yarn 节点的 vcores 可用性相关的问题。 例如，我有: 在第一个节点上:可用 15 个 vcores， 在第二个节
我正在配置单元上运行多个查询。我有一个 6 个节点的 Hadoop 集群。集群中的 vcore 总数为 21。 我只需要将 2 个核心分配给 python 进程，以便其余可用核心将由另一个主进程使用。
Job Counters Launched map tasks=3 Launched reduce tasks=45 Data-local map tasks=1 Ra
我是 yarn 的新手，我正在用 Java 编写一个 YARN 应用程序。根据要求，我只能在一台机器上使用 N 个物理内核。 YARN 允许设置我想分配给我的应用程序的 VCore 数和内存。是否可以
我有一个由 1 个主节点(namenode、secondarynamenode、resourcemanager)和 2 个从节点(datanode、nodemanager)组成的小型集群。 我已经在m
我们正在运行一个使用 yarn 作为集群管理器的 spark streaming 作业，我为每个节点分配了 7 个核心......通过 yarn-site.xml 如下图所示 当作业运行时..它只使用
我正在努力处理一些 hadoop 配置。我正在寻求增加 Applications Master 可以使用的最大 vCore 数量。 我的问题是目前只能使用 1 个 vCore(见下图)，因此我一次只能
我在 YARN 集群 (HDP 2.4) 中使用 Spark，设置如下: 1 个主节点 64 GB RAM(50 GB 可用) 24 核(19 核可用) 5个从节点 每个 64 GB RAM(50 G
我有多个应用服务在同一应用服务计划下运行，并分别访问同一 SQL 弹性池中的一个 SQL 数据库。 所有应用程序都配置为执行每日备份，包括数据库。 在我将 SQL 弹性池的定价计划从 DTU(标准)更
1.问题 基于这个问答:YARN shell command to get number of containers and vcores used by running applications 我
我正在使用以下配置在 YARN 上提交 spark 应用程序 conf.set("spark.executor.cores", "3") conf.set("spark.executor.memory
我正在尝试在 AWS 上设置的集群上运行 wordcount 示例。它挂起，只是说正在运行作业。 我在资源管理器日志中发现了这个错误 我可以通过 HDFS UI (namenode:50070) 查看
我们有一个由 Yarn 管理并运行 hadoop 的 5 节点集群 1 Master name node 8 vcores and 24GB memory 4 个数据节点，每个节点 8 个 vcore
hadoop job -list 似乎只显示 mapreduce 作业，但我的资源管理器 UI 为在 YARN 上运行的所有作业显示诸如“分配的 CPU VCores”和“分配的内存 MB”之类的东西
以下是我的配置: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-sit
目前，我们的 Azure 资源有 3 个(开发、质量保证和生产)阶段。这三个都使用 SQL 数据库“标准 S6:400 DTU”。由于 SQL 数据库的开发和 QA，我们每月的成本超过 700 欧元。
我是一名优秀的程序员,十分优秀！