我正在使用來自 datamechanics 的這個spark 影像，并假設該影像已經安裝了 hadoop，因為名稱如此說明。但我可以在通常的位置（ 、 等）找到/usr/local它/opt/。此外，檔案不容易閱讀以了解影像是如何構建的（主要是因為我找不到像我可以閱讀的檔案這樣的代碼）。有誰知道 hadoop 是否實際安裝在 datamechanics 影像中。如果沒有，是否有推薦用于 spark 和 hadoop 的替代影像？謝謝！
uj5u.com熱心網友回復：
與“自帶”版本相比，影像的名稱是對包含 Spark 3.1.1 和 Hadoop 3.2.0 客戶端庫的 Spark 可下載包的參考……
它沒有“附帶”運行 HDFS 和 YARN 的腳本，因此確實有“安裝”。您可以在 Dockerhub 中搜索 datanode/namenode 映像，但都不需要從您找到的映像運行 Spark。
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/519594.html
上一篇：如何將流寫入Azuredatabricks中的特定kafka集群？“60000毫秒后，元資料中不存在主題mytopic。”
下一篇：基于聚合結果的透視列