我正在使用 RStudio Cloud，我想使用sparklyr包連接到 Spark。我嘗試了本地大師和yarn大師。代碼如下。
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
sc <- spark_connect(master = "yarn")
# Error in system2(file.path(spark_home, "bin", "spark-submit"), "--version", : error in running command
都沒有奏效。我不知道如何進一步設定 Spark 環境。任何幫助將非常感激。
uj5u.com熱心網友回復：
這可能是 Spark 版本的問題。
這對我來說很好，在 RStudio Cloud 上的一個新專案中：
install.packages("sparklyr")
library(sparklyr)
spark_install(version = "3.0.0")
sc <- spark_connect(master = "local")
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/442677.html
下一篇：無法使用PySpark在Databricks上與apachespark函式to_timestamp()連接并添加一列