以下是已成功安裝的依賴項。
!apt-get install openjdk-8-jre
!apt-get install scala
!pip install py4j
!wget -q https://downloads.apache.org/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
!tar xf spark-2.4.8-bin-hadoop2.7.tgz
!pip install -q findspark
現在創建火花背景關系：
# Setting up environment variables
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-2.4.8-bin-hadoop2.7"
# export PYSPARK_SUBMIT_ARGS ="--master local[2]"
# Importing and initating spark
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[*]").appName("Test Setup").getOrCreate()
sc = spark.sparkContext
我收到此錯誤：
運行時錯誤：Java 網關行程在發送其埠號之前退出
請注意，這是一個 colab 筆記本。任何形式的幫助都會很棒。
uj5u.com熱心網友回復：
您可以
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/401926.html
標籤：Python 阿帕奇火花 火花 谷歌合作实验室 py4j
上一篇：使用navArgs將Fragment轉換為DialogFragment，如何從Fragment類外部導航到DialogFragment