專案需要，要對spark的一些任務進行監控，有些任務積壓過多，要kill掉。
求大家指導一下，如何kill掉提交的application
uj5u.com熱心網友回復：
spark rest 客戶端有停止job的函式uj5u.com熱心網友回復：
我看一些官方的檔案，是沒提供停止job的函式。spark有一個隱藏的rest API，您指的是否是這些呢？================================>>>
spark rest 客戶端有停止job的函式
uj5u.com熱心網友回復：
Spark里面有命令可以直接殺掉，具體命令你需要查一下，反正是有的。uj5u.com熱心網友回復：
spark里，我看到的kill掉application的方法，都是要知道driverid的，這種方法適用于通過rest去提交的任務。我們現在工程里，都是用腳本提交的
uj5u.com熱心網友回復：
yarn application -list 查詢所有的任務；然后使用yarn application -kill <appId>
uj5u.com熱心網友回復：
一個思路 在ui處看kill所發送的請求 找到api后呼叫api后面的函式不知道行不行
uj5u.com熱心網友回復：
/stages/stage/kill/?id=1701uj5u.com熱心網友回復：
直接在你spark集群的web客戶端頁面就可以啊，找到相應的Application，點擊killuj5u.com熱心網友回復：
spark有一個隱藏的rest API 為什么apache 官網上找不到啊
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/60084.html
標籤：Spark
上一篇：hadoop如何清理系統日志