我正在嘗試將資料從 Azure EventHub 獲取到 Databricks 中。為了建立連接,我正在執行以下代碼:
conf = {}
connectionString = "my connection string key"
conf["eventhubs.connectionString"] = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.en
我得到的錯誤是 Py4JError: org.apache.spark.eventhubs.EventHubsUtils.en 在 JVM 中不存在
我讀到此錯誤與 Maven 庫有關,我使用的是 9.1 LTS(包括 Apache Spark 3.1.2、Scala 2.12)并安裝了以下庫:
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.17
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.18
com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.12
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.21
有任何想法嗎?
uj5u.com熱心網友回復:
這是一個錯字 - 而不是sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.en你需要使用sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.encrypt.
此外,您只需要保留一個庫 - 您不能將 2.12 和 2.11 的庫混合使用。最好使用com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.21
轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/394028.html
標籤:阿帕奇火花 火花流 数据块 azure-databricks azure-eventhub
