閱識風云是華為云資訊大咖，擅長將復雜資訊多元化呈現，其出品的一張圖(云圖說)、深入淺出的博文(云小課)或短視頻(云視廳)總有一款能讓您快速上手華為云，更多精彩內容請單擊此處，
摘要：Oozie是一個基于作業流引擎的開源框架，它能夠提供對Hadoop作業的任務調度與協調，Oozie是一個作業流引擎服務器，用于運行MapReduce任務作業流，同時Oozie還是一個Java Web程式，運行在Tomcat容器中，
本文分享自華為云社區《【云小課】EI第41課 MRS基礎原理之Oozie任務調度》，作者： Hello EI，
Oozie是一個基于作業流引擎的開源框架，它能夠提供對Hadoop作業的任務調度與協調，
Oozie是一個作業流引擎服務器，用于運行MapReduce任務作業流，同時Oozie還是一個Java Web程式，運行在Tomcat容器中，
Oozie作業流通過HPDL（一種通過XML自定義處理的語言，類似JBOSS JBPM的JPDL）來構造，包含“Control Node”（可控制的作業流節點）、“Action Node”，
“Control Node”用于控制作業流的編排，如“start”（開始）、“end”（關閉）、“error”（例外場景）、“decision”（選擇）、“fork”（并行）、“join”（合并）等，
Oozie作業流中擁有多個“Action Node”，如MapReuce、Java等，
所有的“Action Node”以有向無環圖DAG（Direct Acyclic Graph）的模式部署運行，所以在“Action Node”的運行步驟上是有方向的，當上一個“Action Node”運行完成后才能運行下一個“Action Node”，一旦當前“Action Node”完成，遠程服務器將回呼Oozie的介面，這時Oozie又會以同樣的方式執行作業流中的下一個“Action Node”，直到作業流中所有“Action Node”都完成（完成包括失敗），
Oozie作業流提供各種型別的“Action Node”用于支持不同的業務需要，如MapReduce，HDFS，SSH，Java以及Oozie子流程，
如何使用Oozie
購買包含有Oozie組件的MRS集群后，用戶即可使用Oozie進行作業提交及調度，
MRS集群的創建可參考MRS快速入門中的“創建集群”章節，例如購買MRS 3.1.0普通模式（關閉Kerberos認證）集群，
Oozie客戶端的安裝可以參考MRS用戶指南的“安裝客戶端”章節，例如客戶端安裝目錄為：“/opt/client”，
1.以客戶端安裝用戶，登錄安裝客戶端的節點，
2.執行以下命令，切換到客戶端安裝目錄，
cd /opt/client
source bigdata_env
3.上傳Oozie組態檔以及Jar包至HDFS（UserOozie為提交任務的用戶名），
hdfs dfs -mkdir /user/UserOozie
hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/UserOozie/
4.修改任務執行組態檔：
cd /opt/client/Oozie/oozie-client-*/examples/apps/map-reduce/ vi job.properties nameNode=hdfs://hacluster resourceManager=Yarn ResourceManager主節點IP地址:埠 ##埠可通過“yarn.resourcemanager.port”引數查詢，例如8032， queueName=default examplesRoot=examples user.name=admin oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce #hdfs上傳路徑 outputDir=map-reduce oozie.wf.rerun.failnodes=true
5.運行oozie任務：
oozie job -oozie https://oozie角色的主機名:21003/oozie/ -config job.properties -run [root@kwephispra44947 map-reduce]# oozie job -oozie https://kwephispra44948:21003/oozie/ -config job.properties -run ...... job: 0000000-200730163829770-oozie-omm-W
6.登錄FusionInsight Manager，選擇“集群 > 服務 > Oozie ”，
7.單擊“oozie WebUI”后的超鏈接進入Oozie頁面，在Oozie的WebUI上查看任務運行結果，
關于Ooize應用開發及相關樣例代碼介紹，請參考《Oozie開發指南》，
好了，本期云小課就介紹到這里，快去體驗MapReduce(MRS)更多功能吧！猛戳這里
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/523984.html
標籤：大數據
上一篇：如何一次從兩個串行監視器讀取？