06、Java 任务调度 - Azkaban 入门实战(Azkaban 使用)-6ren

06、Java 任务调度 - Azkaban 入门实战(Azkaban 使用)

转载作者：大佬之路更新时间：2024-01-15 15:51:10

29

4

本文主要介绍Azkaban的使用，文中文中使用到的软件版本：Azkaban 3.90.0、MySQL 5.7、Centos 7。

1、关系

一个project包含多个flow，一个flow包含多个job，job之间可以有依赖关系。

2、创建flow

2.1、flow 1.0

由于flow 1.0即将被flow 2.0替代，这里简单介绍下其使用方法。

2.1.1、创建job文件

直接创建三个job文件：JobA.job、JobB.job、JobC.job

JobA.job:

type=command
command=echo 'this is JobA'

JobB.job:

type=command
command=echo 'this is JobB'

JobC.job:

type=command
command=echo 'this is JobC'
dependencies=JobA,JobB

2.1.2、打包上传

把JobA.job、JobB.job、JobC.job打包成一个zip文件，并上传到一个已创建的project中；上传后会自动生成flow的名称(最后一个没有被依赖的job名称)

2.2、flow 2.0

2.2.1、创建project文件

创建flow20.project文件：

azkaban-flow-version: 2.0

2.2.2、创建flow文件

创建basic.flow文件：

nodes:
  - name: jobC
    type: command
    jobC depends on jobA and jobB
    config:
      command: echo "This is JobC."
    dependsOn:
      - jobA
      - jobB

  - name: jobA
    type: command
    config:
      command: echo "This is JobA."

  - name: jobB
    type: command
    config:
      command: echo "This is JobB."

一个flow文件对应一个flow，如果有多个flow，可以创建多个flow文件。

2.2.3、打包上传

把flow20.project、basic.flow文件打包成一个zip文件，并上传到一个已创建的project中。

3、执行flow或job

点击flow的"Execue Flow"来执行flow或点击job的”Run job“来运行job

在弹出的页面中点击”Executor“或”Schedule“来立即执行或定时执行：

3.1、立即执行flow或job

点击”Execute“按钮来立即执行flow或立即运行job。

3.2、定时执行flow

点击”Execute“按钮来定时执行flow或立即运行job，在弹出的页面可以定义运行周期：

3.3、查看运行情况

在Scheduling中可以查看定义的定时任务，在Executing中可以查看正在或最近执行的flow或job，在History中可以查看历史的flow或job。

4、执行sql

azkaban默认不能直接执行sql，需要安装插件；插件地址为https://gitee.com/centy/azkaban-plugin-jobtype-sql/tree/master，上面有详细的使用说明；这里简单介绍其使用方法。

4.1、安装azkaban-plugin-jobtype-sql插件

下载安装包，下载地址为：https://gitee.com/centy/azkaban-plugin-jobtype-sql/releases；然后安装包拷贝到${ExecutorServerHome}/plugins/jobtypes/目录下，直接解压到当前目录。

重启Executor Server及Web Server，完成安装。

4.2、使用方法

4.2.1、创建project、flow文件及sql执行脚本

创建flow20.project、quickstart_example.flow文件，创建scripts目录，在该目录下创建create_and_insert.sql、update_value.sql执行脚本。

flow20.project文件：

azkaban-flow-version: 2.0

quickstart_example.flow文件：

config: 
  sql_job.database.type: mysql
  sql_job.database.driver: com.mysql.jdbc.Driver
  sql_job.database.host: 10.49.196.10
  sql_job.database.port: 3306
  sql_job.database.database: test
  sql_job.database.schema:
  sql_job.database.username: admin
  sql_job.database.password: Root_123!

nodes:
  - name: create_and_insert_job
    type: sql_job
    config:
      sql_job.scripts: scripts/create_and_insert.sql
  - name: update_value_job
    type: sql_job
    dependsOn:
    - create_and_insert_job
    config:
      sql_job.scripts: scripts/update_value.sql

scripts/create_and_insert.sql文件：

create table if not exists table_a(
  id int(10) not null,
  name varchar(16) not null,
  value double(20,3) not null
);

insert into table_a values
 (1,"test-1",1),
 (2,"test-2",2),
 (3,"test-3",3),
 (4,"test-4",4),
 (5,"test-5",5),
 (6,"test-6",6),
 (7,"test-7",7),
 (8,"test-8",8)
 ;

select count(*) from table_a;

scripts/update_value.sql文件：

update table_a set value = value*2;

select count(*) from table_a;

然后把这些文件打成一个zip包：

4.2.2、上传zip包

4.2.3、执行flow

执行结果如下：

29

4

0

文章推荐： 07、Java 任务调度 - XXL-JOB 入门实战

文章推荐： 03、Java 任务调度 - Spring Scheduled 介绍

文章推荐： 04、Java 任务调度 - Quartz 入门实战

文章推荐： 09、Java 任务调度 - DolphinScheduler 使用

c# - 任务.WaitSubset/任务.WaitN？
Task.WaitAll 方法等待所有任务，Task.WaitAny 方法等待一个任务。如何等待任意N个任务？用例:下载搜索结果页面，每个结果都需要一个单独的任务来下载和处理。如果我使用 WaitA
f# - 任务.任务.运行 : port from C# to F#
我正在查看一些像这样的遗留 C# 代码: await Task.Run(() => { _logger.LogException(LogLevel.Error, mes
php - Linux cron 任务 - 如何添加和运行 cron 任务？
如何在 Linux 中运行 cron 任务？关注此Q&A ，我有这个 cron 任务要运行 - 只是将一些信息写入 txt 文件， // /var/www/cron.php $myfile = fo
ansible playbook 按此顺序执行 : task, 角色、任务、角色、任务
原谅我的新手问题，但我想按顺序执行三个任务并在剧本中使用两个角色: 任务角色任务角色任务这是我到目前为止(任务，角色，任务): --- - name: Task Role Task ho
依赖于其他任务输出的 Gradle 任务？
我有一个依赖于 installDist 的自定义任务 - 不仅用于执行，还依赖于 installDist 输出: project.task('run', type: JavaExec, depends
Wix:如何强行杀死进程/任务？
从使用 Wix 创建的 MSI 运行卸载时，我需要在尝试删除任何文件之前强行终止在后台运行的进程。主要应用程序由一个托盘图标组成，它反射(reflect)了 bg 进程监控本地 Windows 服务的
自动启动我的服务器和应用程序的 Ant 任务
我想编写 Ant 任务来自动执行启动服务器的任务，然后使用我的应用程序的 URL 打开 Internet Explorer。显然我必须执行 startServer先任务，然后 startApplic
asynchronous - 任务.继续困惑
使用 ASP.NET 4.5，我正在尝试使用新的 async/await 玩具。我有一个 IDataReader 实现类，它包装了一个特定于供应商的阅读器(如 SqlDatareader)。我有一个简
按任务组过滤可用的 Gradle 任务
使用命令 gradle tasks可以得到一份所有可用任务的报告。有什么方法可以向此命令添加参数并按任务组过滤任务。我想发出类似 gradle tasks group:Demo 的命令筛选所有任务并
远程删除目录的 Ant 任务
除了sshexec，还有什么办法吗？任务要做到这一点？我知道您可以使用 scp 复制文件任务。但是，我需要执行其他操作，例如检查是否存在某些文件夹，然后将其删除。我想使用类似 condition 的东
从字符串中挑选单词的 Ant 任务
假设我有字符串 - "D:\ApEx_Schema\Functions\new.sql@@\main\ONEVIEW_Integration\3" 我需要将以下内容提取到 diff 变量中 - 文档名
用于确定文件是否为只读的 Ant 任务
我需要编写一个 ant 任务来确定某个文件是否是只读的，如果是，则失败。我想避免使用自定义选择器来为我们的构建系统的性质做这件事。任何人都有任何想法如何去做？我正在使用 ant 1.8 + ant-c
task - 线程池和上下文切换(任务)？
这是一个相当普遍的计算机科学问题，并不特定于任何操作系统或框架。因此，我对与在线程池上切换任务相关的开销感到有些困惑。在许多情况下，给每个作业分配自己的特定线程是没有意义的(我们不想创建太多硬件线程
用于检查主机在关机后是否真的离线的 Ansible 任务
我正在使用以下 Ansible playbook 一次性关闭远程 Ubuntu 主机列表: - hosts: my_hosts become: yes remote_user: my_user
Ant 任务？
如何更改 Ant 中的当前工作目录？ Ant documentation没有任务，在我看来，最好的做法是不要更改当前工作目录。但让我们假设我们仍然想这样做——你会如何做到这一点？谢谢! 最佳答案
每三天执行一次 Cron 任务
是否可以运行 cronjob每三天一次？或者也许每月 10 次。最佳答案每三天运行一次 - 或更短时间在月底运行一次。 (如果上个月有 31 天，它将连续运行 2 天。) 0 0 */3 * *
使用存储库中的工件作为构建工具的 Gradle 任务
如何在 Gradle 任务中执行托管在存储库中的工具？在我的具体情况下，我正在使用 Gradle 构建一个 Android 应用程序。我添加了一项任务，将一些 protobuf 数据从文本编码为二进
gradle - 任务，子项目和配置之间的关联
我的项目有下一个结构: Root |- A |- C (depends on A) \- B (depends on A) 对于所有子项目，我们使用自己的插件生成资源:https://githu
hadoop - Hadoop如何分配MapReduce作业的数据/任务？
我设置了一个具有4个节点的Hadoop群集，其中一个充当HDFS的NameNode以及Yarn主节点。该节点也是最强大的。现在，我分发了2个文本文件，一个在node01(名称节点)上，一个在node
具有更多受让人的 TFS 任务
在 TFS 2010 中为多个用户存储任务的最佳方式是什么？我只能为一项任务分配一个。 (例如:当我计划向所有开发人员演示时) (这是一个 Scrum Msf 敏捷项目，其中任务是用户故事的一部分)

首页

博学

6Ren·AI

商城