一般來說,我是所有這些東西的完整初學者,所以如果我遺漏了一些完全明顯的步驟,請原諒。我安裝了 spark 3.1.2 和 cassandra 3.11.11,我試圖通過本指南將它們連接起來,我發現我在那里制作了一個用于執行的胖罐。在我發布的鏈接中,當他們使用 jar 檔案執行 spark-shell 命令時,有一行出現在開頭。
INFO SparkContext: Added JAR file:/home/chbatey/dev/tmp/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connector-java-assembly-1.2.0-SNAPSHOT.jar at http://192.168.0.34:51235/jars/spark-15/01/26 16:16:10 INFO SparkILoop: Created spark context..
我正確地遵循了所有步驟,但它沒有在我的外殼中顯示任何類似的行。為了確認它沒有被添加,我嘗試了那個網站上的示例程式,它拋出了一個錯誤
java.lang.NoClassDefFoundError: com/datastax/spark/connector/util/Logging
我該怎么辦?我正在使用 spark-cassandra-connector-3.1.0
uj5u.com熱心網友回復:
不需要自己編譯,直接按照官方檔案——用于--packages自動下載所有依賴:
spark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:3.1.0
您的錯誤是連接器檔案不包含依賴項,您需要列出所有內容,例如 Java 驅動程式等。因此,如果您仍想使用--jars選項,則只需下載它的匯編版本(鏈接到 jar)-它將包含所有必要的依賴項。
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/372905.html
標籤:阿帕奇火花 卡桑德拉 spark-cassandra-connector 火花壳
