所有其他問題似乎都解決了 Spark applicationId 的獲取問題。我想以編程方式取消需要 jobId 的 spark 作業。
spark.sparkContext.cancelJob(jobId)
uj5u.com熱心網友回復：
類似于下面的方式。
sc.applicationId
uj5u.com熱心網友回復：
您可以為此用例使用以下代碼邏輯。
步驟 01：獲取作業詳細資訊。
import requests
import json
class BearerAuth(requests.auth.AuthBase):
def __init__(self, token):
self.token = token
def __call__(self, r):
r.headers["authorization"] = "Bearer " self.token
return r
response = requests.get('https://databricksinstance/api/2.0/jobs/list', auth=BearerAuth('token')).json()
print(response)
步驟 02：取消作業休息 api 呼叫
相同的代碼，只需像這樣更改 URL
https://<databricks-instance>/api/2.1/jobs/runs/cancel
參考：鏈接
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/358565.html