當我在 jupyter 中閱讀一個做一些 pyspark 作業的筆記本時，遇到了一行代碼
os.environ['PYSPARK_SUBMIT_ARGS'] = f'--name "test submit" --master yarn --deploy-mode client pyspark-shell'
我主要理解這一行，但不是最后一個 argumnet pyaprk-shell。所以我用谷歌搜索PYSPARK_SUMIT_ARGS閱讀關于這個環境變數的完整規范。問題是我找不到有關它的檔案。所有的研究結果都在說要使用它，而不是為什么和它實際上做了什么。在官方檔案中也找不到它。
我可以假設它說使用 pyspark(Python)，而不是 spark(R) 來處理我的作業，但我想確切地閱讀它的作業方式和作用。那么我在哪里可以閱讀它呢？
uj5u.com熱心網友回復：
這是Spark-Submit 代碼的鏈接。查找 PYSPARK_SHELL 它基本上用于選擇用于運行代碼的 Java 類。
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/370487.html