各位大神，我現在自己動手撰寫了一個scala程式，想放在放在linux服務器上運行，但是出現了很奇怪的問題：
我的運行命令是這樣的（在jar包所在目錄下運行）：
java -classpath "./spark-test.jar:./spark-assembly-1.1.0-cdh5.2.0-hadoop2.5.0-cdh5.2.0.jar:./hadoop-hdfs-2.5.0-cdh5.2.0.jar:." sparktest.Test
其中spark-test.jar是我自己撰寫的scala程式，后面的兩個jar包是我在這個服務器上找到的jar包
當我在程式里面把SparkContext設定為local的時候運行是沒有問題的
但是當我想把SparkContext換成集群的spark://shzx002:18080的時候就會出現錯誤：
14/12/04 17:17:41 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
14/12/04 17:17:42 INFO AppClient$ClientActor: Connecting to master spark://shzx002:18080...
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
這個集群不是我自己配置的，再加上我接觸不久，所以不是很懂……集群的地址應該是沒什么問題的
我不知道是什么原因造成的，如何才能解決呢？在網上查了很多的東西，但是都沒用……先謝過各位了
uj5u.com熱心網友回復：
為什么不用spark-submit ？uj5u.com熱心網友回復：
我用submit 也出現同樣的問題！求幫忙。uj5u.com熱心網友回復：
你好。。。博主，我也遇到了相同的問題，請問你是怎么解決的 。。如果看到請一定回復下。。。我的qq389923309 能不能加好友討論下。uj5u.com熱心網友回復：
把你的Spark程式發上來。setMaster哪里寫的格式是不是正確。
uj5u.com熱心網友回復：
check your cluster UI to ensure that workers are registered and have sufficient memory應該是你uri不對。檢查配置
uj5u.com熱心網友回復：
沒有配置SPARK_EXECUTOR_MEMORY引數，默認會使用1G記憶體，所以會出現記憶體不足，從而出現上面日志報的警告資訊。所以解決辦法是在spark-env.sh中添加如下引數：
export SPARK_EXECUTOR_MEMORY=100M
uj5u.com熱心網友回復：
獨立部署模式下，client模式的spark master默認埠的7077，cluster模式埠是6066，埠搞錯了，不是spark web ui 的埠uj5u.com熱心網友回復：
樓上說的是一個很重要的錯誤，別的還有可能集群設定出現各種各樣的問題，建議貼上覺得有問題和疑惑的配置uj5u.com熱心網友回復：
1.埠錯誤引起的。2.你的HOST，也就是域名配置有問題
3.記憶體方面有問題
uj5u.com熱心網友回復：
2的可能性更大轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/72675.html
標籤：Spark