掛載ADLSGen2存盤-檔案必須是dbfs或s3n：/-有解無憂

我想使用以下代碼在 Databricks 中安裝 ADLS Gen2 存盤：

%python

configs = {
  "fs.azure.account.key.<storage-account-name>.dfs.core.windows.net": <storage-account-key>,
  "spark.hadoop.fs.azure.account.key.<storage-account-name>.dfs.core.windows.net": <storage-account-key>
}

dbutils.fs.mount(
  source = "abfss://<container-name>@<storage-account-name>>.dfs.core.windows.net/",
  mount_point = "/mnt/aaa",
  extra_configs = configs)

但我得到：

掛載 ADLS Gen2 存盤 - 檔案必須是 dbfs 或 s3n：/

知道什么可能是根本原因嗎？

uj5u.com熱心網友回復：

在 Databrick 中掛載 ADLS Gen2 存盤

您可以在兩種情況下在 Databrick 中掛載和實施 ADLS Gen2 存盤。

場景一：

直接從 ADLS Gen2 Blob Storage 中獲取訪問密鑰<storage-account-Access key>，extra_configs如 create mount 所示。

句法

spark.conf.set("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", dbutils.secrets.get(scope="<Scope-Name>",key="Key_Value"))

掛載 ADLS Gen2 存盤 - 檔案必須是 dbfs 或 s3n：/

創建坐騎

dbutils.fs.mount(
    source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/",
    mount_point = "/mnt/io243",
    extra_configs = {"fs.azure.account.key.<storage-account-name>.blob.core.windows.net":"<storage-account-Access key>"})

掛載 ADLS Gen2 存盤 - 檔案必須是 dbfs 或 s3n：/

場景二：

轉到Access Keys并復制密鑰-> Create Secret for Access Key in Azure Key Vault。

掛載 ADLS Gen2 存盤 - 檔案必須是 dbfs 或 s3n：/

創建Azure Key Vault和掛載 ADLS Gen2 存盤 - 檔案必須是 dbfs 或 s3n：/

dbutils.fs.mount(
            source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/",
            mount_point = "/mnt/io243",
            extra_configs = {"fs.azure.account.key.<storage-account-name>.blob.core.windows.net":"dbutils.secrets.get(scope = "databricks-secret-scope", key = "blob-container-key")}

掛載 ADLS Gen2 存盤 - 檔案必須是 dbfs 或 s3n：/

參考：

https://bigdataprogrammers.com/create-mount-point-in-azure-databricks/

https://docs.microsoft.com/en-us/azure/databricks/data/databricks-file-system

https://www.youtube.com/watch?v=yeNgrBxHmCc

轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/468334.html

標籤：阿帕奇火花 pyspark 天蓝色数据块

上一篇：如何將記錄從鑲木地板寫入另一個鑲木地板？

下一篇：圍繞給定值PySpark形成值序列