我運行一個spark作業，在yarn中分配了大量的資源，而且這個作業持續了很長時間。
在最后，spark作業的任務只是激活了一個核心和兩個核心。
我想知道不活躍的資源是否可以被其他的spark作業或mr作業使用。
或者只是第一個spark作業完成后，該資源就可以被其他作業使用。
uj5u.com熱心網友回復：
取決于你的排隊策略和；為每個佇列指定的調度器。
我假設你只有一個默認佇列（root），你的所有作業都在其中提交。在這種情況下，默認調度器是一個先進先出的調度器，它將在先前提交的作業完成后才提交新的作業。
如果不是這種情況，你可以檢查你的佇列& etc/hadoop/capacity-scheduler.xml檔案中指定的調度器。
更多關于這2種調度器的資訊
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/330234.html
標籤：
上一篇：使用ggplot2或ggpubr在軸標簽內撰寫超級腳本
下一篇：編輯表格對話框未預填充