我們可以使用 SPARK SQL 設定哪些型別的引數？我的假設是 Spark 接受前綴為 的引數spark.sql，并忽略任何其他不以開頭的引數，其他引數spark.sql只能在 Spark 會話創建期間添加。
假設spark.sql.autoBroadcastJoinThreshold,spark.sql.broadcastTimeout等被接受spark.maxRemoteBlockSizeFetchToMem，spark.driver.memory, 等被忽略。如果我的理解不正確，請告訴我。
uj5u.com熱心網友回復：
Spark SQL 具有靜態和運行時配置。可以查閱在線檔案以查看特定配置是否具有背景關系、會話或查詢范圍。
運行時 SQL 配置是每個會話的可變 Spark SQL 配置。它們可以通過組態檔和帶有 --conf/-c 前綴的命令列選項設定初始值，或者通過設定用于創建 SparkSession 的 SparkConf 來設定。此外，它們可以通過 SET 命令設定和查詢，并通過 RESET 命令或在運行時通過 SparkSession.conf 的 setter 和 getter 方法恢復其初始值。
:
:
靜態 SQL 配置是跨會話、不可變的 Spark SQL 配置。它們可以通過組態檔和帶有 --conf/-c 前綴的命令列選項設定為最終值，或者通過設定用于創建 SparkSession 的 SparkConf 來設定它們。外部用戶可以通過 SparkSession.conf 或 set 命令查詢靜態 sql 配置值，例如 SET spark.sql.extensions;，但不能設定/取消設定它們。
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/421898.html
標籤：