我試圖使用膩子在 hdfs 上運行 spark 代碼。
spark-submit WorstMoviesSpark.py
但是當我輸入上面的代碼時，它回傳了一個錯誤：
python: can't open file '/home/maria_dev/WorstMoviesSpark.py': [Errno 2] No such file or directory
*編輯：我只是愚蠢。我在本地而不是 hdp 上加載了我的代碼。雖然有用的答案
uj5u.com熱心網友回復：
您沒有通過 Spark 執行代碼檔案所需的權限。運行以下命令，
hdfs dfs -chmod 777 WorstMoviesSpark.py然后在您的 spark-submit 命令中，在運行代碼時將 master 作為 yarn 提及，如下所示
spark-submit --master yarn --deploy-mode client /hdfs/path/to/WorstMoviesSpark.py
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/332706.html