我一直在嘗試學習 Spark 和 Scala，并在 IntelliJ 中設定了環境。
我以前一直在使用 SparkContext 成功地初始化我的 Spark 實體，使用以下代碼：
import org.apache.spark._
val sc = new SparkContext("local[*]", "SparkTest")
當我嘗試開始加載 .csv 資料時，我發現使用了大多數資訊，spark.read.format("csv").load("filename.csv")但這需要SparkSession使用以下方法初始化物件：
val spark = SparkSession
.master("local")
.builder()
.appName("Test")
.getOrCreate()
但是當我嘗試使用它時，我的 Spark 3.x 版本中SparkSession似乎沒有任何內容。org.apache.spark._
據我所知，使用的SparkContext是 Spark 1.x 方法，并且SparkSession是 Spark 2.x，其中spark.sql內置了 SparkSession 物件。
我的問題是我是否錯誤地嘗試加載SparkSession，或者是否有另一種方法可以在 Spark 3 中初始化 Spark（并加載 .csv 檔案）？
火花版本：3.3.0
斯卡拉版本：2.13.8
uj5u.com熱心網友回復：
如果您使用的是 Maven 型別的專案，請嘗試將依賴項添加到 POM 檔案中。否則，為了排除故障，創建一個新的 Maven 型別的專案，添加依賴項并檢查您是否仍然遇到同樣的問題。
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/496937.html
上一篇：ScalaSpark：如何將Array[(String,String,String)]轉換為Map[String,Map[String,String]]