org.apache.samza.job.yarn.YarnJobUtil.cleanupStagingDir()方法的使用及代码示例

转载 作者：知者 更新时间：2024-03-20 19:58:31 25 4

/**
 * Cleans up the staging directory of the job. All exceptions during the cleanup
 * are swallowed.
 */
private void cleanupStagingDir() {
 String yarnJobStagingDirectory = yarnConfig.getYarnJobStagingDirectory();
 if(yarnJobStagingDirectory != null) {
  JobContext context = new JobContext();
  context.setAppStagingDir(new Path(yarnJobStagingDirectory));
  FileSystem fs = null;
  try {
   fs = FileSystem.get(yarnConfiguration);
  } catch (IOException e) {
   log.error("Unable to clean up file system: {}", e);
   return;
  }
  if(fs != null) {
   YarnJobUtil.cleanupStagingDir(context, fs);
  }
 }
}

/**
 * Cleans up the staging directory of the job. All exceptions during the cleanup
 * are swallowed.
 */
private void cleanupStagingDir() {
 String yarnJobStagingDirectory = yarnConfig.getYarnJobStagingDirectory();
 if(yarnJobStagingDirectory != null) {
  JobContext context = new JobContext();
  context.setAppStagingDir(new Path(yarnJobStagingDirectory));
  FileSystem fs = null;
  try {
   fs = FileSystem.get(yarnConfiguration);
  } catch (IOException e) {
   log.error("Unable to clean up file system: {}", e);
   return;
  }
  if(fs != null) {
   YarnJobUtil.cleanupStagingDir(context, fs);
  }
 }
}

25 4 0

• gradle - Apache Samza:Samza REST和hello-samza入门

  我正在关注Apache Samza website上的hello-samza教程，并想按此处所述添加REST服务:http://samza.apache.org/learn/tutorials/lat

• java - samza 容器失败

  您好，由于以下错误 ，我的 samza 作业容器经常失败: Exception from container-launch. Container id: container_1540535314451

• hadoop - Samza 发送消息时会自动创建分区吗？

  如果您使用 Samza 的 OutgoingMessageEnvelope使用此格式发送消息: public OutgoingMessageEnvelope(SystemStream systemSt

• java - 如何通过键前缀查询 Samza KeyValueStore？

  使用 Samza KeyValueStore接口(interface)，如何检索具有公共(public)键前缀的所有文档？键是字符串，RocksDb 将是底层存储。 下面使用 range 方法的方法是

• java - Apache Samza 不运行

  我正在尝试设置 Apache Samza 和 Kafka 环境。我在尝试运行模块时遇到了一些问题。 我让 Kafka 正常工作，但我无法让 Samza 工作。我已经安装了两个 Debian Jeesy

• java - Samza/Kafka 更新元数据失败

  我目前正在编写一个 Samza 脚本，它只会从 Kafka 主题获取数据并将数据输出到另一个 Kafka 主题。我写了一个非常基本的 StreamTask 但是在执行时我遇到了错误。 错误如下: Ex

• org.apache.samza.zk.ZkCoordinationUtilsFactory类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkCoordinationUtilsFactory类的一些代码示例，展示了ZkCoordinationUtilsFactory类的具体用法

• org.apache.samza.zk.ZkProcessorLatch类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkProcessorLatch类的一些代码示例，展示了ZkProcessorLatch类的具体用法。这些代码示例主要来源于Github/S

• org.apache.samza.zk.ZkUtils类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkUtils类的一些代码示例，展示了ZkUtils类的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven

• org.apache.samza.zk.ZkLeaderElector类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkLeaderElector类的一些代码示例，展示了ZkLeaderElector类的具体用法。这些代码示例主要来源于Github/Sta

• org.apache.samza.zk.ZkKeyBuilder类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkKeyBuilder类的一些代码示例，展示了ZkKeyBuilder类的具体用法。这些代码示例主要来源于Github/Stackover

• org.apache.samza.zk.ZkJobCoordinator类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkJobCoordinator类的一些代码示例，展示了ZkJobCoordinator类的具体用法。这些代码示例主要来源于Github/S

• org.apache.samza.zk.ZkBarrierForVersionUpgrade类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkBarrierForVersionUpgrade类的一些代码示例，展示了ZkBarrierForVersionUpgrade类的具体用法

• org.apache.samza.zk.ZkDistributedLock类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkDistributedLock类的一些代码示例，展示了ZkDistributedLock类的具体用法。这些代码示例主要来源于Github

• org.apache.samza.zk.ZkBarrierListener类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkBarrierListener类的一些代码示例，展示了ZkBarrierListener类的具体用法。这些代码示例主要来源于Github

• org.apache.samza.zk.ZkUtilsMetrics类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkUtilsMetrics类的一些代码示例，展示了ZkUtilsMetrics类的具体用法。这些代码示例主要来源于Github/Stack

• org.apache.samza.zk.ZkCoordinationUtils类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkCoordinationUtils类的一些代码示例，展示了ZkCoordinationUtils类的具体用法。这些代码示例主要来源于Gi

• org.apache.samza.zk.ZkJobCoordinatorFactory类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkJobCoordinatorFactory类的一些代码示例，展示了ZkJobCoordinatorFactory类的具体用法。这些代码示

• org.apache.samza.config.ZkConfig类的使用及代码示例

  本文整理了Java中org.apache.samza.config.ZkConfig类的一些代码示例，展示了ZkConfig类的具体用法。这些代码示例主要来源于Github/Stackoverflow

• org.apache.samza.zk.ZkMetadataStore类的使用及代码示例

  本文整理了Java中org.apache.samza.zk.ZkMetadataStore类的一些代码示例，展示了ZkMetadataStore类的具体用法。这些代码示例主要来源于Github/Sta