Windows環境下，安裝spark2.4.3，spark-shell,spark-submit均沒有問題，但是啟動start-master時報錯，日志為：
錯誤: 找不到或無法加載主類 org.apache.spark.launcher.Main
原因: java.lang.ClassNotFoundException: org.apache.spark.launcher.Main
看了下jars檔案夾下spark-launcher.jar中這個類確實是有的，那么問題在什么地方呢？
Java版本12.0.4
uj5u.com熱心網友回復：
我新建一個系統環境變數SPARK_HOME之后，這個問題目前已經消失，但啟動還是沒有成功，啟動視窗消失了，log日志為：Spark Command: C:/Java/jdk-12.0.2\bin\java -cp C:\spark-2.4.3/conf\;C:\spark-2.4.3\jars\* -Xmx1g org.apache.spark.deploy.master.Master --host --port 7077 --webui-port 8080
========================================
C:/Java/jdk-12.0.2\bin\java -cp "C:\spark-2.4.3/conf\;C:\spark-2.4.3\jars\*" -Xmx1g org.apache.spark.deploy.master.Master --host --port 7077 --webui-port 8080
不知道到底啟動成功沒有。我再用intellij idea訪問下看看。
uj5u.com熱心網友回復：
界面上提示hostname unknown option --f于是在spark-env.conf中增加了一行SPARK_MASTER_HOST=159.226.177.27
這個錯誤沒有了
但還有一個錯誤ps unknown option -o 似乎是start-daemon.sh中的ps命令執行時不認識-o
uj5u.com熱心網友回復：
我沒有安裝cygwin，那么是哪個程式在windows中執行這個ps命令導致不認識這個非正規選項-o呢？問題應該是下面一句：
if [[ $(ps -p "$TARGET_ID" -o comm=) =~ "java" ]]; then
看看有沒有修改的辦法？
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/32388.html
標籤：Spark
上一篇：spark 建模問題
下一篇：新手報到