自己用Hyper-V部署了3個虛擬機(ubuntu系統),1個Master+2個Slaves,分別是stPC1, stPC2, stPC3。另外在宿主機器(windows系統)stang491上部署Eclipse開發環境。在宿主機器上已經成功實作了Java語言開發除錯WordCount,用到了addJar()方法來將宿主Driver上的WordCount.jar發送給Master,使其能將WordCount包分發給Slaves。但是當Driver上的開發語言變為scala時,同樣的集群同樣的組態檔,同樣的run configuration,唯一不同的只有語言,結果Eclipse里點擊run就報下面的錯誤:
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
記憶體肯定是夠的,應該是ip配置出錯,但是Master與Driver的ip都寫在master與slaves的hosts里了,而且Java可以正常除錯,不知道為啥換了scala上就出問題了。
uj5u.com熱心網友回復:
謝謝樓主,很有幫助!uj5u.com熱心網友回復:
看看,學些了轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/94325.html
標籤:Spark
