gpt4 book ai didi

Ignite 和 Yarn 集成

转载 作者:行者123 更新时间:2023-12-02 09:31:48 24 4
gpt4 key购买 nike

我正在阅读https://apacheignite.readme.io/docs/yarn-deployment 。基本上,我目前有以下问题。

  1. 在我看来,这个 Ignite YARN 应用程序是一个长时间运行的应用程序?
  2. 我注意到 ignite-yarn-1.8.0.jar 本身不包含任何其他 ignite 相关类(例如 Ignite core)。要在 YARN 容器中成功运行 Ignite ,将 Ignite 从 IGNITE_PATH 加载依赖项,它指向驻留在 HDFS 上的 ignite 二进制版本 zip 文件。我猜的工作流程是:加载 zip 文件,解压缩并加载依赖 jar )?

  3. 如何使用在 YARN 集群中运行的 Ignite 节点。当Ignite节点在YARN容器中运行时,如何使用Ignite客户端连接到Ignite集群并对该ignite集群进行正常操作?

最佳答案

  1. 是的,你说得对。
  2. 是的,这是正确的。 Ignite-yarn 集成从由 IGNITE_PATH 属性设置的 hdfs 路径获取二进制文件,部署 IGNITE_USERS_LIBS 中列出的用户库并启动 Ignite 节点。
  3. 由 ignite-yarn 启动的节点,默认使用以下配置:https://github.com/apache/ignite/blob/master/modules/yarn/src/main/resources/ignite-default-config.xml 。您可以使用此配置启动客户端节点。一般情况下,您需要列出在 TcpDiscoveryVmIpFinder 中运行 yarn 的机器的 IP 地址。

例如:

<bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">  
<property name="ipFinder">
<bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
<property name="addresses">
<list>
<!-- Replace with actual host IP address. -->
<value>10.0.0.1:47500..47510</value>
<value>10.0.0.2:47500..47510</value>
</list>
</property>
</bean>
</property>
</bean>

或者您可以通过IGNITE_XML_CONFIG使用自己的配置并使用另一个IP查找器(例如多播)。项目

关于Ignite 和 Yarn 集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41359669/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com