安裝的版本分別是:
Ambari: 2.4.1
Spark: 2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6
安裝完成后用yarn方式提交運行Spark程式是沒有問題的,因為專案需要,現在想使用Spark自己的Standalone方式提交任務,請問需要怎么配置后可以實作呢? 自己按照獨立Spark的方式 配置后,運行spark-shell和自己的程式一直報錯:
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED
The currently active SparkContext was created at:
(No active SparkContext.)
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
ambari安裝spark的結果:
uj5u.com熱心網友回復:
我也遇到這個問題,你的問題解決了嗎,求解決方案uj5u.com熱心網友回復:
1) You need to start the Spark Master demon.2) You need to start the Spark Workers on all your slave nodes.
3) Submit your application using "--master spark://master:7077", or point to this master URL in your application.
4) Last but no least, why do you want to use standalone mode, if you already have YARN? This is a strange requirement
uj5u.com熱心網友回復:
樓主,你的問題是如何解決的uj5u.com熱心網友回復:
在master上進入目錄::/usr/hdp/2...../spark2/sbin,運行:./start-all.sh,就可以啟動standlone模式,只是組態檔不能再ambari里統一管理uj5u.com熱心網友回復:
這是由于使用遠程連接的情況比較少,除了是用于測驗,很少需要用到standalone模式,所以ambari默認集群之間的通訊通過yarn管理,而standalone則需要由用戶自行管理,其實很好理解,standalone模式翻譯過來就是獨立模式轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/19039.html
標籤:Spark
上一篇:CLOUD
下一篇:云網路基礎
