我嘗試在 Spark 中啟動會話。我已經下載了 Java 版本如下:
java version "17" 2021-09-14 LTS
Java(TM) SE Runtime Environment (build 17 35-LTS-2724)
Java HotSpot(TM) 64-Bit Server VM (build 17 35-LTS-2724, mixed mode, sharing)
我還安裝了 Pyspark。
Python 3.8.5 (default, Sep 4 2020, 02:22:02)
[Clang 10.0.0 ] :: Anaconda, Inc. on darwin
但是當我嘗試開始會話時,出現例外錯誤。代碼:
#Creating a spark connection
from pyspark import SparkContext
sc = SparkContext(master = "local")
錯誤:
Exception: Java gateway process exited before sending its port number
你能幫忙嗎?提前致謝。
uj5u.com熱心網友回復:
您的 Java 版本 (17) 對 spark 來說太高了。來自 Spark檔案
Spark runs on Java 8/11, Scala 2.12, Python 3.6 and R 3.5
因此,您需要將 Java 減少到 11 或 8。
uj5u.com熱心網友回復:
我已經下載了 Java 版本 11 并且知道它正在運行。
查看如何卸載現有 Java 版本:https : //explainjava.com/uninstall-java-macos/
下載 Java 11:https : //www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/322627.html
標籤:Python 阿帕奇火花 火花 apache-spark-sql
