最近剛開始接觸spark,在centos7環境下,對spark1.4.1-src編譯的時候遇到了下面的問題:
在spark目錄下執行build/sbt package,會出現:

就是在spark目錄下執行build/sbt package時候,出現:
Error: Invalid or corrupt jarfile build/sbt-launch-0.13.7.jar
這樣的錯誤。
嘗試了很多種解決的辦法都無效,偶然發現在ubuntu下,同樣的jdk版本,同樣的hadoop版本,ubuntu下就可以順利編譯通過,但是在centos上就會出現上面的錯誤。因為實驗室的集群是centos環境的,而且接下來的專案需要用到sbt編譯,實在解決不了了,求助各位大俠們!!!感激不盡!!!
附:我使用的各種工具的版本:
jkd:1.7.0_79
hadoop:2.6.0
scala:2.11.7
spark:1.4.1
uj5u.com熱心網友回復:
話說,我和你基本差不多,不過我用的是maven編譯的,成功了uj5u.com熱心網友回復:
看看能有幫助么http://stackoverflow.com/questions/31637752/building-apache-spark-using-sbt-invalid-or-corrupt-jarfile
uj5u.com熱心網友回復:
多謝啦,maven編譯和spark自帶的make-distribution都是可以編譯通過的,主要是后續的專案需要用的sbt編譯,實在搞不懂為什么會這個樣子。按照你給出的鏈接我嘗試了一下,還是同樣的問題
,我只能在ubuntu下生成了sbt-launch-0.13.7.jar包,放到centos下,才可以編譯通過了
uj5u.com熱心網友回復:
你可以編譯spark用maven,然后編譯自己的jar用sbt啊?uj5u.com熱心網友回復:
吧scala版本換成2.10的呢uj5u.com熱心網友回復:
遇到同樣的問題了,不知是否解決了uj5u.com熱心網友回復:
用stackoverflow上面的方法解決了:下載sbt-launch.jar: http://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.7/sbt-launch.jar
復制到build目錄下,修改名字為sbt-launch-0.13.7.jar
uj5u.com熱心網友回復:
還是沒有解決,請問你們到底怎么解決這個問題的 呀~轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/90158.html
標籤:Spark
