測驗spark與mongodb的組合,用sbt構建系統后,在除錯模式也就是單機狀態下可以運行,但是一旦打包成jar后通過spark submit分發任務時就會出現這個例外:
Invalid signature file digest for Manifest main attributes
按照網上的方法,去掉jar里的META-INF檔案夾下的.SF檔案,.RSA檔案, .DSA檔案后不報這個例外了,但是卻報出:
NoSuchMethodError這個錯誤。可能跟洗掉了以上幾個檔案有關。
現在我該怎么做?百度谷歌上的方法都試遍了。期待大家的回復。
uj5u.com熱心網友回復:
為什么不用IDEA呢?我用這個,發現挺好用的。uj5u.com熱心網友回復:
是通過Maven編譯打包的嗎?不是就建議用IDEA + Maven。Spark專案的Pom.xml一搜大把轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/84614.html
標籤:Spark
