在本地以setMaster["local[*]"]的模式運行,可以進mapPartition及mapPartitionWithIndex的方法,也可以取到里面的資料。
但是打成jar包后提交到spark集群運行后就不進mapPartition及mapPartitionWithIndex,也拿不到里面的資料了,
有哪位大神知道這是什么情況嗎? 幫忙解答一下 在此謝謝了!
uj5u.com熱心網友回復:
頂一頂了,要6個長度的字串uj5u.com熱心網友回復:
有沒有人知道啊?????uj5u.com熱心網友回復:
你這沒有前后文沒法幫你啊...我只能猜測驗你讀取資料的方式不對.你local模式下是不是讀取的本地檔案,集群模式是不是讀取的是hdfs或者遠程的檔案啊?要不你貼代碼出來看看?
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/65963.html
標籤:Spark
上一篇:docker中mysql報錯Can't connect to local MySQL server through socket '/var/run/mysql
