org.apache.hadoop.dynamodb.util.YarnContainerAllocator类的使用及代码示例

转载 作者：知者 更新时间：2024-03-18 20:01:31 28 4

int mappers = yarnContainerAllocator.getMaxMappers(nodes, reducers, nodeSlots,
  appMasterSlots, mapSlots, reduceSlots);

int mappers = yarnContainerAllocator.getMaxMappers(nodes, reducers, nodeSlots,
  appMasterSlots, mapSlots, reduceSlots);

@Test
public void calcMaxMapTasks_m3xlargeConsistent_correctAllocatorCallMade() throws IOException {
 when(nodeCapacityProvider.getCoreNodeMemoryMB()).thenReturn(11520); // 8 slots
 conf.setInt("yarn.scheduler.minimum-allocation-mb", 1440); // 1 slot
 conf.setInt("yarn.app.mapreduce.am.resource.mb", 2880); // 2 slots
 conf.setInt("mapreduce.map.memory.mb", 1440); // 1 slot
 conf.setInt("mapreduce.reduce.memory.mb", 2880); // 2 slots
 taskCalculator.getMaxMapTasks();
 verify(yarnContainerAllocator).getMaxMappers(NODES, REDUCERS, 8 /* node slots */, 2 /* app
 master slots */, 1 /* map slots */, 2 /* reduce slots */);
}

@Test
public void calcMaxMapTasks_m3xlargeInconsistent_correctAllocatorCallMade() throws IOException {
 when(nodeCapacityProvider.getCoreNodeMemoryMB()).thenReturn(11520); // 45 slots
 conf.setInt("yarn.scheduler.minimum-allocation-mb", 256); // 1 slot
 conf.setInt("yarn.app.mapreduce.am.resource.mb", 2880); // 12 slots
 conf.setInt("mapreduce.map.memory.mb", 1440); // 6 slots
 conf.setInt("mapreduce.reduce.memory.mb", 2880); // 12 slots
 taskCalculator.getMaxMapTasks();
 verify(yarnContainerAllocator).getMaxMappers(NODES, REDUCERS, 45 /* node slots */, 12 /* app
 master slots */, 6 /* map slots */, 12 /* reduce slots */);
}

28 4 0

• apache-kafka - Apache Beam over Apache Kafka流处理

  在流处理方面，Apache Beam和Apache Kafka之间有什么区别？ 我也试图掌握技术和程序上的差异。 请通过您的经验报告来帮助我理解。 最佳答案 Beam是一种API，它以一种统一的方式使

• apache-kafka - Apache 点燃与 Apache 卡夫卡

  有点n00b的问题。 如果我使用 Apache Ignite 进行消息传递和事件处理，是否还需要使用 Kafka？ 与 Ignite 相比，Kafka 基本上会给我哪些(如果有的话)额外功能？ 提前致

• apache-drill - Apache 元模型与 Apache Drill

  Apache MetaModel 是一个数据访问框架，它为发现、探索和查询不同类型的数据源提供了一个通用接口(interface)。 Apache Drill 是一种无架构的 SQL 查询引擎，它通过

• apache - Apache 和 Apache Tomcat 的使用区别

  Tomcat是一个广泛使用的java web服务器，而Apache也是一个web服务器，它们在实际项目使用中有什么不同？ 经过一些研究，我有了一个简单的想法，比如， Apache Tomcat Ja

• apache - 何时使用 Apache 与 Apache+Tomcat？

  既然简单地使用 Apache 就足以运行许多 Web 应用程序，那么人们何时以及为什么除了 Apache 之外还使用 Tomcat？ 最佳答案 Apache Tomcat是一个网络服务器和 Java

• apache - 单个用户下的多个域的目录结构应该是什么？ ( Apache )

  我在某个 VPS( friend 的带 cPanel 的 apache 服务器)上有一个帐户，我在那里有一个 public_html 目录。我们有大约 5-6 个网站: /home/myusernam

• apache - 将模块加载到 Apache

  我目前正在尝试将模块加载到 Apache，使用 cmake 构建。该模块称为 mod_mapcache。它已成功构建并正确安装在/usr/lib/apache2/modules directroy 中

• apache - 网址中的问号(Apache)

  我对 url 中的问号有疑问。 例如:我有 url test.com/controller/action/part_1%3Fpart_2 (其中 %3F 是 url 编码的问号)，并使用此重写规则:R

• apache - 使用 Let's encrypt with Apache 和 Apache Tomcat

  在同一台机器上，Apache 在端口 80 上运行，Tomcat 在端口 8080 上运行。 Apache 包括 html;css;js;文件并调用 tomcat 服务。 基本上 exampledom

• apache - Apache 1 和 Apache 2 的区别

  Apache 1 和 Apache 2 的分支有什么区别？ 使用一种或另一种的优点和缺点？ 似乎 Apache 2 的缺点之一是使用大量内存，但也许它处理请求的速度更快？ 最有趣的是 Apache 作

• apache - 从uri模式确定变量(Apache)

  实际上，我们正在使用 Apache 网络服务器来托管我们的 REST-API。 脚本是用 Lua 编写的，并使用 mod-lua 映射。 例如来自 httpd.conf 的实际片段: [...] Lu

• apache - apache、ubuntu中的ServerAlias

  我在 apache 上的 ubuntu 中有一个虚拟主机，这不是我的主要配置，我有另一个网页作为我的主要网页，所以我想使用虚拟主机在同一个 IP 上设置这个。 urologyexpert.mx 是我的

• apache-camel - Apache Camel 与 Apache Nifi

  我使用 Apache camel 已经很长时间了，发现它是满足各种系统集成相关业务需求的绝佳解决方案。但是几年前我遇到了 Apache Nifi 解决方案。经过一番谷歌搜索后，我发现虽然 Nifi 可

• apache-flink - Apache Apex 与 Apache Flink

  由于两者都是一次处理事件的流框架，这两种技术/流框架之间的核心架构差异是什么？ 此外，在哪些特定用例中，一个比另一个更合适？ 最佳答案 正如您所提到的，两者都是实时内存计算的流式平台。但是当您仔细观察

• apache - apache 文件中使用什么语言？

  apache 文件(如 httpd.conf 和虚拟主机)中使用的语言名称是什么，例如 # Ensure that Apache listens on port 80 Listen 80 D

• apache - apache 生命周期是怎样的？

  作为我学习过程的一部分，我认为如果我扩展更多关于 apache 的知识会很好。我有几个问题，虽然我知道有些内容可能需要相当冗长的解释，但我希望您能提供一个概述，以便我知道去哪里寻找。 (最好引用 mo

• apache-kafka - Apache Pulsar 与 Apache RocketMQ

  关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗？更新问题，以便可以通过 editing this post 用事实和引文回答问题. 4 个月前关闭。 Improve

• apache - (Apache) 错误日志美化器

  就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he

• apache-kafka - Apache Camel 与 Apache Kafka

  这个问题在这里已经有了答案: Difference Between Apache Kafka and Camel (Broker vs Integration) (4 个回答) 3年前关闭。 据我所知

• apache - Apache 中多个目录的规则相同吗？

  我有 2 个使用相同规则的子域，如下所示: RewriteEngine On RewriteCond %{REQUEST_FILENAME} !-f RewriteCond