上一篇文章我們簡單介紹了一下Azkaban以及怎樣安裝部署Azkaban,本文我們通過幾個案例來看一下怎樣使用Azkaban,關注專欄《破繭成蝶——大資料篇》,查看更多相關的內容~
目錄
一、Azkaban調度單一job
二、Azkaban調度有依賴關系的多個job
三、Azkaban調度Java程式
四、Azkaban調度MapReduce任務
一、Azkaban調度單一job
1、創建job檔案
type=command
command=echo 'This is first Azkaban job.'
這里需要注意的是, job檔案的后綴必須為.job,且需要將保存好的檔案壓縮成.zip格式,作業名稱在專案中必須是唯一的,
2、啟動Azkaban,并創建Project,

3、點擊upload上傳壓縮包,

4、壓縮包沒有問題,可以在MySQL中看到相關的job資訊,

5、點擊Schedule,配置定時任務,

6、可以在此處設定執行的日期等引數,

7、執行job,綠色代表執行成功,

二、Azkaban調度有依賴關系的多個job
1、首先需要撰寫幾個具有依賴關系的job,如下所示:
1、first.job
type=command
command=echo 'This is first Azkaban job.'
2、second.job
type=command
command=echo 'This is second Azkaban job.'
dependencies=first
3、third.job
type=command
command=echo 'This is third Azkaban job.'
dependencies=first
4、fouth.job
type=command
command=echo 'This is fouth Azkaban job.'
dependencies=second,third
并將編輯好的job檔案壓縮成一個zip檔案,
2、創建專案并上傳壓縮包

3、執行

4、在對應目錄查看log資訊以及job資訊


三、Azkaban調度Java程式
1、撰寫Java程式并打包
package com.xzw.azkaban;
import java.io.FileOutputStream;
/**
* @author: xzw
* @create_date: 2021/4/28 8:33
* @desc:
* @modifier:
* @modified_date:
* @desc:
*/
public class JavaJob {
public static void main(String[] args) throws Exception {
FileOutputStream fos = new FileOutputStream("/opt/modules/azkaban/files/javajob.job");
fos.write("This is a Java job!".getBytes());
fos.close();
}
}
2、撰寫job檔案
type=javaprocess
java.class=com.xzw.azkaban.JavaJob
classpath=./azkaban.jar
3、將job檔案和jar包壓縮到同一個zip檔案中

4、在Azkaban監控界面新建專案,上傳檔案并執行

5、查看執行結果

四、Azkaban調度MapReduce任務
1、創建job檔案并壓縮成zip檔案
type=command
command=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop jar /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /xzw/input /xzw/output
2、上傳并測驗

我們可以通過后臺查看輸出的檔案:

以上就是本文的所有內容,比較簡單,你們在此程序中遇到了什么問題,歡迎留言,讓我看看你們都遇到了哪些問題~
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/281619.html
標籤:其他
下一篇:Git學習
