我發現 Spark SQL 沒有散列函式。為了選擇特定的散列資料，我需要像這樣使用自定義/UDF 函式
sparkSession.udf.register("hashFuncWithSecret", (s: String) => myHashFunction(s, "my_very_secret_key"))
我希望“my_very_secret_key”不會從其他 Spark 會話或 UI 或其他其他地方暴露和可見。我想知道這是否可能。謝謝！
uj5u.com熱心網友回復：
它在其他 Spark 會話中不可見。你能得到的最遠的是：
scala> spark.catalog.listFunctions.show(false)
----- -------- ----------- ----------------------------------------------------- -----------
|name |database|description|className |isTemporary|
----- -------- ----------- ----------------------------------------------------- -----------
|! |null |null |org.apache.spark.sql.catalyst.expressions.Not |true |
|% |null |null |org.apache.spark.sql.catalyst.expressions.Remainder |true |
|& |null |null |org.apache.spark.sql.catalyst.expressions.BitwiseAnd |true |
|* |null |null |org.apache.spark.sql.catalyst.expressions.Multiply |true |
| |null |null |org.apache.spark.sql.catalyst.expressions.Add |true |
|- |null |null |org.apache.spark.sql.catalyst.expressions.Subtract |true |
...
不過，這不會顯示定義。
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/432367.html
上一篇：有沒有辦法限制可以通過google.script.run呼叫哪些函式？
下一篇：回圈遍歷表并更新特定列