我一直在尋找這個問題的解決方案大約 5 個小時，所以在這一點上我很生氣。
本質上，我收到了一些警告：
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
22/01/24 00:20:03 WARN SparkContext: Another SparkContext is being constructed (or threw an exception in its constructor). This may indicate an error, since only one SparkContext should be running in this JVM (see SPARK-2243). The other SparkContext was created at:
在我的系統變數中，我有：
HADOOP_HOME
C:\spark-3.2.0-bin-hadoop3.2
SPARK_HOME
C:\spark-3.2.0-bin-hadoop3.2
JAVA_HOME
C:\Program Files\Java\jdk-17.0.1
在系統變數路徑中我有%SPARK_HOME%\bin. 我也有 winutils C:\spark-3.2.0-bin-hadoop3.2\bin，因為它應該是。命令提示符上的 pyspark 命令應該可以作業，但是計算機不斷給出錯誤，我將在下面復制。提前感謝您的幫助，因為我知道已經回答了類似的問題，但是當我嘗試其他答案時，我不斷收到錯誤。完全不知道怎么回事...
UserWarning: Failed to initialize Spark session.
warnings.warn("Failed to initialize Spark session.")
還有死亡之吻
SUCCESS: The process with PID 33244 (child process of PID 12556) has been terminated.
SUCCESS: The process with PID 12556 (child process of PID 13404) has been terminated.
uj5u.com熱心網友回復：
根據您的輸入可能的額外檢查：
將 env var 添加到使用的 Python env - 這里名為“spark”的 conda env
PYSPARK_PYTHON="C:\Users<我的用戶>\AppData\Local\Continuum\anaconda3\envs\spark\python.exe"
以管理員權限運行 Spark 提示符（即 cmd 右鍵單擊??“以管理員身份運行”）。Spark 打開本地埠，在普通用戶下可以拒絕。
uj5u.com熱心網友回復：
您需要 hadoop 主檔案夾中的 winutils.exe 才能正常作業。
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/420901.html
標籤：