一個完整的資料分析系統通常都是由大量任務單元組成，例如：shell腳本，Java程式，MapReduce程式、Hive腳本等，各任務單元之間存在時間先后及前后依賴關系，為了很好地組織起這樣的復雜執行計劃，需要一個作業流調度系統來調度執行，類似于Oozie，Azkaban便是一個作業流調度的組件，關注專欄《破繭成蝶——大資料篇》，查看更多相關的內容~
目錄
一、Azkaban簡介
1.1 什么是Azkaban
1.2 Azkaban的特點
1.3 Azkaban的架構
二、Azkaban的安裝部署
2.1 下載、上傳、解壓
2.2 創建資料庫
2.3 生成密鑰對和證書
2.4 修改組態檔
2.5 啟動Azkaban
一、Azkaban簡介
1.1 什么是Azkaban
Azkaban是由Linkedin公司推出的一個批量作業流任務調度器，主要用于在一個作業流內以一個特定的順序運行一組作業和流程，它的配置是通過簡單的key-value對的方式，通過配置中dependencies來設定依賴關系，Azkaban使用job組態檔建立任務之間的依賴關系，并提供一個易于使用的web用戶界面維護和跟蹤作業流，
1.2 Azkaban的特點
1、兼容任何版本的hadoop；2、易于使用的Web用戶界面；3、簡單作業流的上傳；4、方便設定任務之間的關系；5、調度作業流；6、模塊化和可插拔的插件機制；7、認證/授權（權限的作業）；8、能夠殺死并重新啟動作業流；9、有關失敗和成功的電子郵件提醒，
在作業流調度系統里面，簡單的任務調度可以直接使用crontab實作；而復雜的任務調度通常使用開發調度平臺或現成的開源調度系統，比如Ooize、Azkaban等，
1.3 Azkaban的架構
Azkaban由三個關鍵組件構成：
1、AzkabanWebServer：AzkabanWebServer是整個Azkaban作業流系統的主要管理者，它用戶登錄認證、負責project管理、定時執行作業流、跟蹤作業流執行進度等一系列任務，
2、AzkabanExecutorServer：負責具體的作業流的提交、執行，它們通過MySQL資料庫來協調任務的執行，
3、關系型資料庫（MySQL）：存盤大部分執行流狀態，AzkabanWebServer和AzkabanExecutorServer都需要訪問資料庫，
二、Azkaban的安裝部署
2.1 下載、上傳、解壓
1、首先需要下載Azkaban的安裝包，可以點擊這里進行下載，將下載后的安裝包上傳到服務上：
2、將上傳的安裝包解壓到相關的目錄
tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C ../modules/azkaban/
tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C ../modules/azkaban/
tar -zxvf azkaban-web-server-2.5.0.tar.gz -C ../modules/azkaban/3、對解壓后的目錄重命名
2.2 創建資料庫
1、創建azkaban資料庫
2、在創建的資料庫中匯入腳本
mysql> source /opt/modules/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
2.3 生成密鑰對和證書
Keytool是Java資料證書的管理工具，使用戶能夠管理自己的公/私鑰對及相關證書，相關引數解釋如下：
1、-keystore：指定密鑰庫的名稱及位置（產生的各類資訊將存在.keystore檔案中），
2、-genkey（或者-genkeypair）：生成密鑰對，
3、-alias：為生成的密鑰對指定別名，如果沒有默認是mykey，
4、-keyalg：指定密鑰的演算法RSA/DSA，默認是DSA，
使用如下命令生成keystore的密碼及相應資訊的密鑰庫：
keytool -keystore keystore -alias xzw -genkey -keyalg RSA
此時，我們可以發現該目錄下出現了keystore檔案，我們使用如下命令查看keystore中的內容：
keytool -keystore keystore --list
2.4 修改組態檔
1、修改web/conf目錄下的azkaban.properties組態檔
2、修改web/conf目錄下的azkaban-users.xml組態檔
3、修改executor/conf目錄下的azkaban.properties組態檔
2.5 啟動Azkaban
使用如下命令啟動Azkaban：
[root@master azkaban]# ./executor/bin/azkaban-executor-start.sh
[root@master azkaban]# ./web/bin/azkaban-web-start.sh
我們也可以登錄到web界面進行查看：
以上就是本文的所有內容，比較簡單，你們在此程序中遇到了什么問題，歡迎留言，讓我看看你們都遇到了哪些問題~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/280332.html
標籤：其他
上一篇：markdown編輯器中去除圖片水印以及自定義水印樣式
下一篇：docker 筆記一