我正在嘗試將兩個 Cassandra 表加入：
t1.join(t2, Seq("some column"), "left")
我收到以下錯誤訊息：
Exception in thread "main" java.lang.ClassCastException: scala.Tuple8 cannot be cast to scala.Tuple7 at org.apache.spark.sql.cassandra.execution.CassandraDirectJoinStrategy.apply(CassandraDirectJoinStrategy.scala:27)
我正在使用 cassandra v3.11.13 和 Spark 3.3.0。代碼依賴：
libraryDependencies = Seq(
"org.scalatest" %% "scalatest" % "3.2.11" % Test,
"com.github.mrpowers" %% "spark-fast-tests" % "1.0.0" % Test,
"graphframes" % "graphframes" % "0.8.1-spark3.0-s_2.12" % Provided,
"org.rogach" %% "scallop" % "4.1.0" % Provided,
"org.apache.spark" %% "spark-sql" % "3.1.2" % Provided,
"org.apache.spark" %% "spark-graphx" % "3.1.2" % Provided,
"com.datastax.spark" %% "spark-cassandra-connector" % "3.2.0" % Provided)
非常感謝您的幫助
uj5u.com熱心網友回復：
Spark Cassandra 連接器尚不支持 Apache Spark 3.3.0，我懷疑這是它無法正常作業的原因，盡管我自己沒有進行任何驗證。
SPARKC-686中已請求支持 Spark 3.3.0，但所需的作業量很大，敬請期待。
最新支持的Spark 版本是 3.2，使用 spark-cassandra-connector 3.2。干杯!
轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/508558.html