我希望使 Azure 鏈接服務可配置，從而在運行時傳遞 Databricks WorkspaceURL 和 ClusterID。我將擁有多個 Spark 集群，并根據集群的大小呼叫集群的型別/大小。
我沒有找到從 ADF 管道獲取 DataBricks ClusterID 和 passit 的選項
uj5u.com熱心網友回復：
您可以使用 REST API Clusters API 2.0來獲取集群串列。
https://adb-7012303279496007.7.azuredatabricks.net/api/2.0/clusters/list
我已經復制了上述內容并得到了以下結果。
首先在 databricks 作業區中生成訪問令牌，并在Web 活動中使用它作為獲取集群串列的授權。
網路活動的輸出：
上面還包含以 mb 為單位的集群大小。將上述內容存盤在陣列變數中。
要根據集群大小獲取所需的集群 ID，您可以根據需要使用過濾條件。
在這里，對于示例，我使用 mb 中的簇大小作為過濾條件。
筆記本聯動服務：
cluster_id 的引數。
從過濾后的陣列中傳遞所需的 cluster_id，如下所示。
@activity('Filter1').output.Value[0].cluster_id
您可以使用動態內容提供 Notebook 路徑。
我的執行：
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/520491.html
上一篇：ADO：跨多個專案使用代理池