前言
本專欄主要匯總作業學習中遇到的一些 Spark 例外問題，也包括一些比較難實作的需求分析，
后續問題多了會分門別類，暫時只記錄
目錄
Consider boosting spark.yarn.executor.memoryOverhead
org.apache.spark.util.SparkFatalException
spark left join 和 right join 的坑
Spark 算子回傳NULL
Shuffle output file lost
Spark的臨時資料不自動清理
org.apache.spark.SparkException: Task not serializable
spark-sql 報錯：The root scratch dir: /tmp/hive on HDFS should be writable.
淺談 Spark SQL 實作任務質量治理的思路
Not committed because the driver did not authorize commit
Spark在讀目錄時候GC，Listing leaf files and directories
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/319666.html
標籤：其他
上一篇：Spark 2.3 安裝部署