gobblin.source.workunit.WorkUnit.setId()方法的使用及代码示例

转载 作者：知者 更新时间：2024-03-21 08:11:05 28 4

@Override
 protected void forWorkUnit(WorkUnit workUnit) {
  workUnit.setProp(ConfigurationKeys.JOB_ID_KEY, this.jobId);
  String taskId = JobLauncherUtils.newTaskId(this.jobId, this.taskIdSequence++);
  workUnit.setId(taskId);
  workUnit.setProp(ConfigurationKeys.TASK_ID_KEY, taskId);
  workUnit.setProp(ConfigurationKeys.TASK_KEY_KEY, Long.toString(Id.Task.parse(taskId).getSequence()));
 }
}

/**
 * Create a job from a given batch of {@link WorkUnit}s.
 */
private JobConfig.Builder createJob(List<WorkUnit> workUnits) throws IOException {
 Map<String, TaskConfig> taskConfigMap = Maps.newHashMap();
 try (ParallelRunner stateSerDeRunner = new ParallelRunner(this.stateSerDeRunnerThreads, this.fs)) {
  int multiTaskIdSequence = 0;
  for (WorkUnit workUnit : workUnits) {
   if (workUnit instanceof MultiWorkUnit) {
    workUnit.setId(JobLauncherUtils.newMultiTaskId(this.jobContext.getJobId(), multiTaskIdSequence++));
   }
   addWorkUnit(workUnit, stateSerDeRunner, taskConfigMap);
  }
  Path jobStateFilePath = new Path(this.appWorkDir, this.jobContext.getJobId() + "." + JOB_STATE_FILE_NAME);
  SerializationUtils.serializeState(this.fs, jobStateFilePath, this.jobContext.getJobState());
 }
 JobConfig.Builder jobConfigBuilder = new JobConfig.Builder();
 jobConfigBuilder.setMaxAttemptsPerTask(this.jobContext.getJobState().getPropAsInt(
   ConfigurationKeys.MAX_TASK_RETRIES_KEY, ConfigurationKeys.DEFAULT_MAX_TASK_RETRIES));
 jobConfigBuilder.setFailureThreshold(workUnits.size());
 jobConfigBuilder.addTaskConfigMap(taskConfigMap).setCommand(GobblinTaskRunner.GOBBLIN_TASK_FACTORY_NAME);
 jobConfigBuilder.setNumConcurrentTasksPerInstance(ConfigUtils.getInt(jobConfig,
   GobblinClusterConfigurationKeys.HELIX_CLUSTER_TASK_CONCURRENCY,
   GobblinClusterConfigurationKeys.HELIX_CLUSTER_TASK_CONCURRENCY_DEFAULT));
 return jobConfigBuilder;
}

28 4 0

• java - Gobblin:java.lang.ClassNotFoundException:org.apache.gobblin.source.extractor.extract.jdbc.MysqlSource

  我正在尝试使用 gobblin 从 mysql 到 hdfs 数据摄取。使用以下步骤运行 mysql-to-gobblin.pull 时: 1)启动hadoop: sbin\start-all.cmd

• gobblin.source.workunit.WorkUnit类的使用及代码示例

  本文整理了Java中gobblin.source.workunit.WorkUnit类的一些代码示例，展示了WorkUnit类的具体用法。这些代码示例主要来源于Github/Stackoverflow

• java - 我正在尝试安装Apache Gobblin。如何使用Gradle安装它？

  我想在MacOS X上安装Apache Gobblin。为此，我下载了版本0.14.0，并按照此处的步骤进行操作。 Install Gobblin 我做的第一件事是: tar -xvf incubat

• linux - Gobblin Git 克隆错误

  尝试从 git clone 下载和构建 Gobblin 时。通过关注，在本地下载并构建 Gobblin在您的本地计算机上，克隆 Gobblin 存储库: git clone git@github.co

• org.apache.gobblin.writer.WriterOutputFormat类的使用及代码示例

  本文整理了Java中org.apache.gobblin.writer.WriterOutputFormat类的一些代码示例，展示了WriterOutputFormat类的具体用法。这些代码示例主要来

• org.apache.gobblin.writer.WatermarkAwareWriter类的使用及代码示例

  本文整理了Java中org.apache.gobblin.writer.WatermarkAwareWriter类的一些代码示例，展示了WatermarkAwareWriter类的具体用法。这些代码示

• org.apache.gobblin.writer.WriteResponseMapper类的使用及代码示例

  本文整理了Java中org.apache.gobblin.writer.WriteResponseMapper类的一些代码示例，展示了WriteResponseMapper类的具体用法。这些代码示例主

• org.apache.gobblin.util.WritableShimSerialization类的使用及代码示例

  本文整理了Java中org.apache.gobblin.util.WritableShimSerialization类的一些代码示例，展示了WritableShimSerialization类的具体

• org.apache.gobblin.yarn.YarnContainerSecurityManager类的使用及代码示例

  本文整理了Java中org.apache.gobblin.yarn.YarnContainerSecurityManager类的一些代码示例，展示了YarnContainerSecurityManag

• org.apache.gobblin.yarn.YarnAppSecurityManager类的使用及代码示例

  本文整理了Java中org.apache.gobblin.yarn.YarnAppSecurityManager类的一些代码示例，展示了YarnAppSecurityManager类的具体用法。这些代

• org.apache.gobblin.yarn.YarnHelixUtils类的使用及代码示例

  本文整理了Java中org.apache.gobblin.yarn.YarnHelixUtils类的一些代码示例，展示了YarnHelixUtils类的具体用法。这些代码示例主要来源于Github/S

• org.apache.gobblin.yarn.YarnService类的使用及代码示例

  本文整理了Java中org.apache.gobblin.yarn.YarnService类的一些代码示例，展示了YarnService类的具体用法。这些代码示例主要来源于Github/Stackov

• bigdata - Apache Nifi 与 Gobblin

  我正在评估一个大数据项目，我们需要从各种互联网来源(ftp、api 等)提取大量大数据集，进行轻量级转换和轻量级数据质量/健全性检查(例如:行和列检查)，并将其推向下游。直接关注点是批量的，但预计会支

• hadoop - Gobblin Map-reduce作业在EMR上成功运行，但在s3中无输出

  我正在运行gobblin，以使用3节点EMR集群将数据从kafka移至s3。我在hadoop 2.6.0上运行，并且还针对2.6.0构建了gobblin。 似乎map-reduce作业成功运行。在我的

• java - Gobblin - 如何从 Facebook 获取帖子

  我研究 Gobblin 一段时间了，目前我在使用 Gobblin 从 Facebook 获取帖子时遇到了困难。我在互联网上找不到任何连接示例，或者我可能搜索错误。 我正在考虑将restfb集成到Gob

• org.apache.gobblin.source.workunit.WorkUnitStream类的使用及代码示例

  本文整理了Java中org.apache.gobblin.source.workunit.WorkUnitStream类的一些代码示例，展示了WorkUnitStream类的具体用法。这些代码示例主要

• gobblin.source.workunit.WorkUnit.readFields()方法的使用及代码示例

  本文整理了Java中gobblin.source.workunit.WorkUnit.readFields()方法的一些代码示例，展示了WorkUnit.readFields()的具体用法。这些代码示

• gobblin.source.workunit.WorkUnit.createEmpty()方法的使用及代码示例

  本文整理了Java中gobblin.source.workunit.WorkUnit.createEmpty()方法的一些代码示例，展示了WorkUnit.createEmpty()的具体用法。这些代

• gobblin.source.workunit.WorkUnit.getExtract()方法的使用及代码示例

  本文整理了Java中gobblin.source.workunit.WorkUnit.getExtract()方法的一些代码示例，展示了WorkUnit.getExtract()的具体用法。这些代码示

• gobblin.source.workunit.WorkUnit.getLowWatermark()方法的使用及代码示例

  本文整理了Java中gobblin.source.workunit.WorkUnit.getLowWatermark()方法的一些代码示例，展示了WorkUnit.getLowWatermark()的