最近在學習使用spark進行資料的社團挖掘,數量量還是挺大的,在呼叫RowMatrix的computePrincipalComponents()方法時,默認總是回傳計算后的Matrix,但是我這邊運算的資料太大,超過了客戶機的最大接收記憶體,請問有什么方法可以解決的嗎?
uj5u.com熱心網友回復:
以分段的形式進行插入是否可以考慮呢
uj5u.com熱心網友回復:
并不行、、、后來找到的臨時解決方法是啟動spark時增大client的記憶體轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/60061.html
標籤:Spark
上一篇:筆記本連接wifi網速特別慢
