為什么我不需要在 Databricks 中創建 SparkSession？配置集群時會自動創建 SparkSession 嗎？還是別人幫我做的？
uj5u.com熱心網友回復：
這只在 notebooks 中完成，為了簡化用戶的作業并避免他們指定不同的引數，其中許多不會有任何影響，因為 Spark 已經啟動。此行為類似于您在啟動時獲得的行為spark-shell或pyspark- 它們都初始化SparkSession和SparkContext：
Spark context available as 'sc' (master = local[*], app id = local-1635579272032).
SparkSession available as 'spark'.
但是，如果您將 jar 或 Python 輪中的代碼作為作業運行，那么您有責任創建相應的物件。
uj5u.com熱心網友回復：
在 Databricks 環境中，而在 Spark 2.0 中，可以通過 SparkSession 實作相同的效果，無需顯式創建 SparkConf、SparkContext 或 SQLContext，因為它們封裝在 SparkSession 中。使用構建器設計模式，如果 SparkSession 物件尚不存在，它會實體化一個 SparkSession 物件及其相關的底層 contexts.ref：鏈接
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/345658.html