org.apache.flink.yarn.YarnClusterDescriptor.getYarnSessionClusterEntrypoint()方法的使用及代码示例

转载 作者：知者 更新时间：2024-03-14 02:36:49 26 4

/**
 * Tests that Yarn will restart a killed {@link YarnSessionClusterEntrypoint} which will then resume
 * a persisted {@link JobGraph}.
 */
@Test
public void testKillYarnSessionClusterEntrypoint() throws Exception {
  assumeTrue(
    "This test kills processes via the pkill command. Thus, it only runs on Linux, Mac OS, Free BSD and Solaris.",
    OperatingSystem.isLinux() || OperatingSystem.isMac() || OperatingSystem.isFreeBSD() || OperatingSystem.isSolaris());
  final YarnClusterDescriptor yarnClusterDescriptor = setupYarnClusterDescriptor();
  yarnClusterDescriptor.addShipFiles(Arrays.asList(flinkShadedHadoopDir.listFiles()));
  final RestClusterClient<ApplicationId> restClusterClient = deploySessionCluster(yarnClusterDescriptor);
  try {
    final JobID jobId = submitJob(restClusterClient);
    final ApplicationId id = restClusterClient.getClusterId();
    waitUntilJobIsRunning(restClusterClient, jobId);
    killApplicationMaster(yarnClusterDescriptor.getYarnSessionClusterEntrypoint());
    waitForApplicationAttempt(id, 2);
    waitForJobTermination(restClusterClient, jobId);
    killApplicationAndWait(id);
  } finally {
    restClusterClient.shutdown();
  }
}

final String log4j =
  "-Dlog4j.configuration=file:" + FlinkYarnSessionCli.CONFIG_FILE_LOG4J_NAME; // if set
final String mainClass = clusterDescriptor.getYarnSessionClusterEntrypoint();
final String args = "";
final String redirects =

26 4 0

• 【Flink】Flink 源码阅读笔记（15）- Flink SQL 整体执行框架

  1.概述 转载：Flink 源码阅读笔记（15）- Flink SQL 整体执行框架 在数据处理领域，无论是实时数据处理还是离线数据处理，使用 SQL 简化开发将会是未来的整体发展趋势。尽管 SQL

• 【Flink】Flink 计算资源管理

  1.概述 转载：Flink 源码阅读笔记（6）- 计算资源管理 在 Flink 中，计算资源的是以 Slot 作为基本单位进行分配的。本文将对 Flink 中计算资源的管理机制加以分析。 2.Task

• 【Flink】Flink jvm参数配置GC日志

  1.概述 转载：Flink jvm参数配置GC日志 生产环境上，或者其他要测试 GC 问题的环境上，一定会配置上打印GC日志的参数，便于分析 GC 相关的问题。 但是可能很多人配置的都不够“完美”，要

• 【Flink】Flink 源码阅读笔记（20）- Flink 基于 Mailbox 的线程模型

  1.概述 转载：Flink 源码阅读笔记（20）- Flink 基于 Mailbox 的线程模型 相似文章：【Flink】Flink 基于 MailBox 实现的 StreamTask 线程模型 Fl

• 【FLink】Flink SQL代码生成与UDF重复调用的优化

  1.概述 转载：Flink SQL代码生成与UDF重复调用的优化 2. 代码生成简介 代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成

• 【Flink】Flink 部署性能优化

  1.概述 转载：面向流批一体的 Flink Runtime 新进展 首先是关于调度部分的性能优化。Flink 由于存在 all to all 的连接关系，两个并发为 n 的算子之间会有 n² 条边，这

• apache-flink - 为什么我们在 flink 源代码中有 flink-streaming-java 和 flink-streaming-scala 模块

  在Fink源码中，有flink-stream-java和flink-stream-scala模块。 flink streaming 为什么需要两个模块？ https://github.com/apac

• apache-flink - Flink : How to handle external app configuration changes in flink

  我的要求是在一天内流式传输数百万条记录，并且它对外部配置参数有很大的依赖性。例如，用户可以随时在 Web 应用程序中更改所需的设置，并且在进行更改后，必须使用新的应用程序配置参数进行流式传输。这些是应

• apache-flink - 在 Apache Flink 服务器上哪里可以找到我使用 Apache Flink 仪表板提交的 jar

  我开发了一个 Flink 作业并使用 Apache Flink 仪表板提交了我的作业。根据我的理解，当我提交作业时，我的 jar 应该在 Flink 服务器上可用。我试图找出我的 jar 的路径，但无

• apache-flink - 在 Apache Flink 服务器上哪里可以找到我使用 Apache Flink 仪表板提交的 jar

  我开发了一个 Flink 作业并使用 Apache Flink 仪表板提交了我的作业。根据我的理解，当我提交作业时，我的 jar 应该在 Flink 服务器上可用。我试图找出我的 jar 的路径，但无

• 【FLink】Flink 源码阅读笔记（4）- RPC

  1.概述 转载：Flink 源码阅读笔记（4）- RPC 相关文章： 【Flink】Flink 源码之RPC调用 Flink】FLink 通讯组件 RPC 作为一个分布式系统，Flink 内部不同组件

• 【FLink】flink keyby 分布不均匀问题

  1.概述 转载并且补充： flink keyby 分布不均匀问题 我使用随机数random.nextint(8)作为key，生成keyedstream之后，直接sink到存储中，但是sink算子只有四

• 【Flink】Flink Sort-Shuffle写流程简析

  1.概述 转载：Flink Sort-Shuffle写流程简析 转载并且补充。 2.配置 taskmanager.network.sort-shuffle.min-parallelism 核心配置。设

• 【Flink】Flink 批处理模式Map端数据聚合 NormalizedKeySorter

  1.概述 转载：Flink源码分析——批处理模式Map端数据聚合 在flink的批处理模式下，数据的计算也有着map/reduce两端的计算模型，这一点和MR、spark计算框架是类似的。在数据进行分

• 【Flink】Flink on yarn 远程调试

  1.概述 转载：Flink on yarn 远程调试 大家好，我是 JasonLee。 前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试

• apache-flink - Flink 中的事件时间窗口不会触发

  当我使用 flink 事件时间窗口时，窗口就是不触发。请问如何解决，有什么debug的方法吗？ 最佳答案 由于您使用的是事件时间窗口，所以很可能是水印问题。该窗口仅在水印取得进展时输出。事件时间没有提

• apache-flink - Flink 一个作业中的多个作业或多个管道

  我有一个用例，我想在 Flink 上运行 2 个独立的处理流程。所以 2 个流程看起来像 Source1 -> operator1 -> Sink1 Source2 -> operator2 -> S

• apache-flink - Flink 广播状态如何初始化？

  我们正在尝试构建一个用例，其中来自流的数据通过计算公式运行，但公式本身也应该(很少)是可更新的。通过阅读文档，在我看来，Flink 广播状态很适合这种情况。 作为实验，我构建了一个简化版本:假设我有一

• apache-flink - flink 连接被对等方重置

  我有一个 Flink Streaming 作业，它失败了，我得到如下日志。谁能告诉我如何解决这个问题？有时运行一天就失效，有时运行几个小时就失效。 09:30:25 948 INFO (org.ap

• apache-flink - Flink 中的预洗牌聚合

  我们正在将 spark 作业迁移到 flink。我们在 spark 中使用了 pre-shuffle 聚合。有没有办法在 spark.xml 中执行类似的操作？我们正在使用来自 apache kafk