我是Spark的新手,這是我的第一個測驗專案。我按照教程做了一切作業,但當我試圖把它引入我的機器時,卻沒有成功。我在構建專案時遇到了一些錯誤。我使用的是依賴項:
name := "spark"/span>
版本 := "0.1"。
scalaVersion :="2.12.8"
libraryDependencies = Seq(
"org.apache.spark" % "spark-core" % "2.3.3"。
"org.apache.spark" % "spark-sql" % "2.3.3" .
)
在匯入依賴項的時候,我得到了錯誤:
[error] sbt.librarymanagement.ResolveException: unresolved dependency: org. apache.spark#spark-core_2.12;2.3.3: 沒有找到
[錯誤]未解決的依賴關系:org.apache.spark#spark-sql_2.12;2.3.3: 未找到
[錯誤] 在 sbt.internal.librarymanagement.IvyActions$.resolveAndRetrieve(IvyActions.scala:332)
[錯誤] 在 sbt.internal.librarymanagement.IvyActions$.$anonfun$updateEither$1(IvyActions.scala:208)。
[error] at sbt.internal.librarymanagement.IvySbt$Module。 $anonfun$withModule$1(Ivy.scala:239)。
[錯誤] 在 sbt.internal.librarymanagement.IvySbt.$anonfun$withIvy$1(Ivy.scala:204)。
[error] at sbt.internal.librarymanagement.IvySbt. sbt$internal$librarymanagement$IvySbt$$action$1(Ivy.scala:70)。
[錯誤] 在 sbt.internal.librarymanagement.IvySbt$$anon$3.call(Ivy.scala:77)
[錯誤] 在xsbt.boot.Locks$GlobalLock.withChannel$1(Locks.scala:113)。
[錯誤] 在xsbt.boot.Locks$GlobalLock.withChannelRetries$1(Locks.scala:91)。
[error] at xsbt.boot.Locks$GlobalLock。 $anonfun$withFileLock$1(Locks.scala:119)
[錯誤] 在xsbt.boot.Using$.withResource(Using.scala:12)
[錯誤] 在xsbt.boot.Using$.apply(Using.scala:9)
[錯誤] 在xsbt.boot.Locks$GlobalLock.withFileLock(Locks.scala:119)。
[錯誤] 在xsbt.boot.Locks$GlobalLock.ignoringDeadlockAvoided(Locks.scala:71)。
[錯誤] 在xsbt.boot.Locks$GlobalLock.withLock(Locks.scala: 59)
[錯誤] 在xsbt.boot.Locks$.apply0(Locks.scala:47)
[錯誤] 在xsbt.boot.Locks$.apply(Locks.scala:36)
[錯誤] 在 sbt.internal.librarymanagement.IvySbt.withDefaultLogger(Ivy.scala:77)
[錯誤] 在 sbt.internal.librarymanagement.IvySbt.withIvy(Ivy.scala:199)
[錯誤] 在 sbt.internal.librarymanagement.IvySbt.withIvy(Ivy.scala:196)
[錯誤] 在 sbt.internal.librarymanagement.IvySbt$Module.withModule(Ivy.scala:238)
[錯誤] 在 sbt.internal.librarymanagement.IvyActions$.updateEither(IvyActions.scala:193)
[錯誤] 在
...
...
...
[error] (update) sbt.librarymanagement.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12; 2.3.3: Not found
[錯誤] 未解決的依賴關系:org.apache.spark#spark-sql_2.12;2.3.3: 未找到
[error] (ssExtractDependencies) sbt.librarymanagement.ResolveException: unresolved dependency: org.apache. spark#spark-core_2.12;2.3.3: 沒有找到
[error] unresolved dependency: org.apache.spark#spark-sql_2.12;2.3.3: 未找到
[錯誤] Total time: 1 s, completed 18-Sep2021 10: 33:42.
[資訊] 關閉服務器
uj5u.com熱心網友回復:
看起來spark 2.3需要一個兼容的scala版本,嘗試使用2.11.x作為scala版本。
來源:[sparkDocs]https://spark.apache.org/docs/2.3.0/
`Spark運行在Java 8 ,Python 2.7 /3.4 和R 3.1 。對于Scala API,Spark 2.3.0使用Scala 2.11。你需要使用一個兼容的Scala版本(2.11.x)。
注意,從Spark 2.2.0開始,對Java 7、Python 2.6和2.6.5之前的舊Hadoop版本的支持已經取消。對Scala 2.10的支持從2.3.0.起被取消了`
。轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/326153.html
標籤:
上一篇:如果陣列中有奇怪的資料,如何$pullinmongodb?
下一篇:以案例物件為鍵的HMap
