yarn介紹
yarn是Apache Hadoop YARN，hadoop中的組件，是英文簡稱，全程是Yet Another Resource Negotiator，另一種資源協調者，是一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和資料共享等方面帶來了巨大好處，
hadoop進行資源管理和任務調度的是resourcemanager，后面會更新google三篇論文和yarn的演變程序
yarn的web界面
yarn常用的埠是8088，下面這個是yarn的web界面，yarn的其他埠及作用可以查看之前的文章
nodes是當前集群的節點情況，會記錄節點數，配置等資訊
scheduler是yarn調度情況，佇列，調度器（容量、公平、單佇列）
Applications是提交的任務，下圖是提交任務的jobid，這個是提交時自動生成，
介紹一下幾種狀態
- submitted 提交
- accepted 接受
- running 運行中
- finished 完成
- failed 失敗
- killed 殺死
順序是：submitted - accepted - running - finished、failed、killed
有時候因為oom或超時等情況，yarn會自動殺死任務，這種情況下導致的是failed還是killed，可以在評論區留言
手動殺死的是killed，親測過
yarn application命令
yarn application -list： 列出所有的狀態任務
yarn application -list -appStates RUNNING：-appStates是任務狀態，用來篩選不同狀態的application，支持的狀態如上，如果篩選多個可以用,隔開
yarn application -list -appTypes MAPREDUCE：appTypes是應用型別，這里是篩選mapreduce
yarn application -kill application_1608003347452_0139：殺死一個application，yarn的web界面展示任務，沒有提供殺死任務的功能，需要手動，這里可以從頁面上復制appliction的ID號，在linux命令列中執行，注意要配置yarn的環境變數
yarn application -status application_1608003347452_0139：查看這個任務的狀態
掌握這幾種，基本的操作沒問題
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/253586.html
標籤：其他