現在已經嘗試了一段時間，我確信解決方案很簡單，只是在努力尋找它。我很新，所以對我輕松點..！
需要使用預制的初始化腳本來執行此操作，然后在配置集群時在 UI 中選擇該腳本。
我正在嘗試安裝com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.18到 Azure Databricks 上的群集。按照檔案示例（它正在安裝 postgresql 驅動程式），他們使用以下命令生成一個 init 腳本：
dbutils.fs.put("/databricks/scripts/postgresql-install.sh","""
#!/bin/bash
wget --quiet -O /mnt/driver-daemon/jars/postgresql-42.2.2.jar https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.2/postgresql-42.2.2.jar""", True)```
我的問題是，/mnt/driver-daemon/jars/postgresql-42.2.2.jar這段代碼的部分是什么？我該怎么做才能使這項作業適合我的情況？
提前謝謝了。
uj5u.com熱心網友回復：
/mnt/driver-daemon/jars/postgresql-42.2.2.jar這是放置 jar 檔案的輸出路徑。但這沒有任何意義，因為這個 jar 不會被放入 CLASSPATH 并且不會被 Spark 找到。jar 需要放入/databricks/jars/目錄中，Spark 會自動提取它們。
但是這種下載 jars 的方法僅適用于沒有依賴項的 jars，對于像 EventHubs 連接器這樣的庫來說，情況并非如此——如果沒有下載依賴項，它們將不起作用。相反，最好使用Cluster UI或 Libraries API（或 Jobs API 用于作業）——使用這些方法，所有依賴項也將被獲取。
PS 但實際上，與其使用 EventHubs 連接器，不如使用 EventHubs 也支持的 Kafka 協議。有幾個原因：
- 從性能的角度來看它更好
- 從穩定性的角度來看更好
- Kafka 連接器包含在 DBR 中，因此您無需安裝任何額外的東西
您可以在EventHubs 檔案中閱讀如何使用 Spark EventHubs Kafka 連接器。
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/472457.html