org.apache.samza.validation.YarnJobValidationTool.()方法的使用及代码示例

转载 作者：知者 更新时间：2024-03-19 01:51:31 25 4

public static void main(String [] args) throws Exception {
  CommandLine cmdline = new CommandLine();
  OptionParser parser = cmdline.parser();
  OptionSpec<String> validatorOpt = parser.accepts("metrics-validator", "The metrics validator class.")
                      .withOptionalArg()
                      .ofType(String.class).describedAs("com.foo.bar.ClassName");
  OptionSet options = cmdline.parser().parse(args);
  Config config = cmdline.loadConfig(options);
  MetricsValidator validator = null;
  if (options.has(validatorOpt)) {
   String validatorClass = options.valueOf(validatorOpt);
   validator = Util.getObj(validatorClass, MetricsValidator.class);
  }

  YarnConfiguration hadoopConfig = new YarnConfiguration();
  hadoopConfig.set("fs.http.impl", HttpFileSystem.class.getName());
  hadoopConfig.set("fs.https.impl", HttpFileSystem.class.getName());
  ClientHelper clientHelper = new ClientHelper(hadoopConfig);

  new YarnJobValidationTool(new JobConfig(config), clientHelper.yarnClient(), validator).run();
 }
}

public static void main(String [] args) throws Exception {
  CommandLine cmdline = new CommandLine();
  OptionParser parser = cmdline.parser();
  OptionSpec<String> validatorOpt = parser.accepts("metrics-validator", "The metrics validator class.")
                      .withOptionalArg()
                      .ofType(String.class).describedAs("com.foo.bar.ClassName");
  OptionSet options = cmdline.parser().parse(args);
  Config config = cmdline.loadConfig(options);
  MetricsValidator validator = null;
  if (options.has(validatorOpt)) {
   String validatorClass = options.valueOf(validatorOpt);
   validator = Util.getObj(validatorClass, MetricsValidator.class);
  }

  YarnConfiguration hadoopConfig = new YarnConfiguration();
  hadoopConfig.set("fs.http.impl", HttpFileSystem.class.getName());
  hadoopConfig.set("fs.https.impl", HttpFileSystem.class.getName());
  ClientHelper clientHelper = new ClientHelper(hadoopConfig);

  new YarnJobValidationTool(new JobConfig(config), clientHelper.yarnClient(), validator).run();
 }
}

25 4 0

• gradle - Apache Samza:Samza REST和hello-samza入门

  我正在关注Apache Samza website上的hello-samza教程，并想按此处所述添加REST服务:http://samza.apache.org/learn/tutorials/lat

• java - samza 容器失败

  您好，由于以下错误 ，我的 samza 作业容器经常失败: Exception from container-launch. Container id: container_1540535314451

• hadoop - Samza 发送消息时会自动创建分区吗？

  如果您使用 Samza 的 OutgoingMessageEnvelope使用此格式发送消息: public OutgoingMessageEnvelope(SystemStream systemSt

• java - 如何通过键前缀查询 Samza KeyValueStore？

  使用 Samza KeyValueStore接口(interface)，如何检索具有公共(public)键前缀的所有文档？键是字符串，RocksDb 将是底层存储。 下面使用 range 方法的方法是

• java - Apache Samza 不运行

  我正在尝试设置 Apache Samza 和 Kafka 环境。我在尝试运行模块时遇到了一些问题。 我让 Kafka 正常工作，但我无法让 Samza 工作。我已经安装了两个 Debian Jeesy

• java - Samza/Kafka 更新元数据失败

  我目前正在编写一个 Samza 脚本，它只会从 Kafka 主题获取数据并将数据输出到另一个 Kafka 主题。我写了一个非常基本的 StreamTask 但是在执行时我遇到了错误。 错误如下: Ex

• org.apache.samza.zk.ZkCoordinationUtilsFactory类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkCoordinationUtilsFactory类的一些代码示例，展示了ZkCoordinationUtilsFactory类的具体用法

• org.apache.samza.zk.ZkProcessorLatch类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkProcessorLatch类的一些代码示例，展示了ZkProcessorLatch类的具体用法。这些代码示例主要来源于Github/S

• org.apache.samza.zk.ZkUtils类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkUtils类的一些代码示例，展示了ZkUtils类的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven

• org.apache.samza.zk.ZkLeaderElector类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkLeaderElector类的一些代码示例，展示了ZkLeaderElector类的具体用法。这些代码示例主要来源于Github/Sta

• org.apache.samza.zk.ZkKeyBuilder类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkKeyBuilder类的一些代码示例，展示了ZkKeyBuilder类的具体用法。这些代码示例主要来源于Github/Stackover

• org.apache.samza.zk.ZkJobCoordinator类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkJobCoordinator类的一些代码示例，展示了ZkJobCoordinator类的具体用法。这些代码示例主要来源于Github/S

• org.apache.samza.zk.ZkBarrierForVersionUpgrade类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkBarrierForVersionUpgrade类的一些代码示例，展示了ZkBarrierForVersionUpgrade类的具体用法

• org.apache.samza.zk.ZkDistributedLock类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkDistributedLock类的一些代码示例，展示了ZkDistributedLock类的具体用法。这些代码示例主要来源于Github

• org.apache.samza.zk.ZkBarrierListener类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkBarrierListener类的一些代码示例，展示了ZkBarrierListener类的具体用法。这些代码示例主要来源于Github

• org.apache.samza.zk.ZkUtilsMetrics类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkUtilsMetrics类的一些代码示例，展示了ZkUtilsMetrics类的具体用法。这些代码示例主要来源于Github/Stack

• org.apache.samza.zk.ZkCoordinationUtils类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkCoordinationUtils类的一些代码示例，展示了ZkCoordinationUtils类的具体用法。这些代码示例主要来源于Gi

• org.apache.samza.zk.ZkJobCoordinatorFactory类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkJobCoordinatorFactory类的一些代码示例，展示了ZkJobCoordinatorFactory类的具体用法。这些代码示

• org.apache.samza.config.ZkConfig类的使用及代码示例

  本文整理了Java中org.apache.samza.config.ZkConfig类的一些代码示例，展示了ZkConfig类的具体用法。这些代码示例主要来源于Github/Stackoverflow

• org.apache.samza.zk.ZkMetadataStore类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkMetadataStore类的一些代码示例，展示了ZkMetadataStore类的具体用法。这些代码示例主要来源于Github/Sta