我正在使用帶有 spark 的 maven 專案和一個 cassandra 作為資料庫。能夠以 0 錯誤執行代碼,并獲得我想要的結果,但我無法使用 jar 檔案提交專案:這是我的 pom.xml :
POM.xml
我提交專案的命令:
spark-submit --master "local[*]" --class com.sparkfinal.App target/sparkfinal-1.0-SNAPSHOT.jar
錯誤:
錯誤
uj5u.com熱心網友回復:
您需要:
- 為您的專案創建一個包含所有依賴項的程式集 jar(確保將 Spark 依賴項宣告為
provided) - 或在提交作業時指定 Spark Cassandra 連接器作為依賴項,
--packages com.datastax.spark:spark-cassandra-connector_2.12:3.2.0如連接器檔案中所示
我建議使用第一種方法,因為我看到您需要提供其他依賴項。另外,請注意,您可能不需要指定 java 驅動程式依賴項,因為它會被 Spark Cassandra 連接器自動拉取。
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/481499.html
標籤:行家 阿帕奇火花 卡桑德拉 数据税 火花卡桑德拉连接器
