我正在嘗試在 Databricks 中的 spark-submit 任務中檢索用戶名，以將有關正在更改資料的用戶的附加資訊寫入表中。不幸的是，我找不到正確的方法。目前，我正在嘗試兩件事：
spark.sparkContext.sparkUser
和
System.getProperty("user.name")
但他們都回來了root。你知道如何做到這一點嗎？
uj5u.com熱心網友回復：
如果您使用的是 Delta Lake 表，則有關已執行操作的資訊將在 Delta Lake 表的歷史記錄中捕獲 - 請參閱檔案中的示例。
spark.confDatabricks 通過- 以 開頭的配置屬性公開了大量資訊spark.databricks.clusterUsageTags.，因此您可以過濾所有配置并搜索必要的資訊。
但是你需要考慮到作業中的所有操作都是在作業所有者的身份下執行的，即使它是由其他人觸發的。
有一個spark.databricks.clusterUsageTags.clusterAllTags配置屬性包含一個包含集群標簽串列的 JSON 字串，其中還包括Owner擁有該 Databricks 作業的用戶的電子郵件欄位。
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/427407.html