在作業中，我有一個 Scala Databricks Notebook，它使用了許多庫匯入，包括 Maven 和一些 JAR 檔案。我遇到的問題是，當我在此 Notebook 上計劃作業時，它有時會失敗（完全隨機，但在 10 次運行中大部分是 1 次），因為它在安裝所有庫之前執行單元。因此作業失敗，我必須手動啟動它。這個 Databricks 產品的這種說法遠非專業，因為我不能在生產中使用它，因為它有時會失敗。
我試圖Thread.Sleep()在所有匯入之前放置1 分鐘左右，但它沒有改變任何東西。對于 Python dbutils.library.installPyPI("library-name")，Dbutils 檔案中有 Scala的但沒有這樣的東西。
那么有沒有人遇到過同樣的問題，如果有，你是如何解決的？
謝謝 ！
uj5u.com熱心網友回復：
簡單地說，生產計劃作業使用New Job Cluster和避免All Purpose Cluster.
New Job Clusters是在您運行任務時創建和啟動的專用集群，并在任務完成后立即終止。在生產中，Databricks 建議使用新集群，以便每個任務都在完全隔離的環境中運行。
在 UI 中，設定筆記本作業時，選擇一個New Job Cluster，然后將所有依賴庫添加到作業中。
的定價不同New Job Cluster。我會說它最終會更便宜。
注意：使用 Databricks 池來減少集群啟動和自動擴展時間（如果這是一個問題的話）。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/368225.html
標籤：斯卡拉 进口 数据块 工作 azure-databricks