sparksubmit提交任務到yarn,如何通過代碼的方式獲取到任務從accept狀態轉變到running狀態的時間節點和從running狀態到finish狀態的節點,之前通過sc拿到appid,然后通過yarnclient去獲取任務狀態,但是一直無法監聽到accept狀態,請問各路大神,有沒有誰碰到過類似的問題
uj5u.com熱心網友回復:
去spark的ui看看uj5u.com熱心網友回復:
我是想通過代碼的方式實作
uj5u.com熱心網友回復:
代碼訪問ui的介面然后決議資料uj5u.com熱心網友回復:
代碼訪問會有延時,有沒有可能通過yarn內部進行實作
uj5u.com熱心網友回復:
訪問yarn的restful介面https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html
uj5u.com熱心網友回復:
onApplicationStart from https://spark.apache.org/docs/latest/api/java/index.html?org/apache/spark/scheduler/SparkListener.html轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/34848.html
標籤:分布式計算/Hadoop
