問題描述:
我用maven創建的專案,就匯入了一個scala-sdk-2.11.8庫,其他什么也沒匯入,也沒匯入網上說的spark-assembly-*-hadoop*.jar各種jar包,但是我setMaster('local'),運行沒有問題,但是引數改為setMaster('spark://1172.17.0.2:7077)),會出現以下錯誤提示:
18/10/13 09:15:54 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 172.17.0.2:7077
org.apache.spark.SparkException: Exception thrown in awaitResult
因為我的spark實在docker環境下跑的,所有地址是172.17.0.2
請問大佬們,到底哪里出了問題?
uj5u.com熱心網友回復:
按照道理來講的話 應該不是在你打完jar包之后在通過命令腳本運行的么?uj5u.com熱心網友回復:
你的spark集群啟動了嗎?uj5u.com熱心網友回復:
如果打成jar放集群,是沒有問題的,但我用Idea直接右鍵運行多方便,哈哈,老打包麻煩uj5u.com熱心網友回復:
嗯嗯,spark集群啟動了uj5u.com熱心網友回復:
我在eclipse 中也是 不行的 ,報錯的 意思大概是 “ 這種方式不能直通過 sparkContext 來設定 , 要用 spark-submit” 委婉的告訴了我要想設定設定除了“local”其他的方式它不支持,要其他的模式 就要用 spark-submit 提交 jar包轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/23946.html
標籤:Spark
上一篇:宿主機編譯的檔案在docker中執行報No such file or directory解決程序
下一篇:求助:
