我的Hadoop集群配置如下:
master:機子性能非常好,記憶體8G,硬碟1T以上
4個slaves:全是差機子,記憶體只有2G,真正剩余的只有1G左右,硬碟500G
主要看記憶體,master和slaves差別有點大,不知道這樣的配置是不是非常不好,因為我實際測驗起來效果不太理想,經常還出現“out of memory”的錯誤,我想問的是slave機子的性能需要和master一樣好嗎?master負責調度、資源分配等任務,需要好性能,而slaves只是負責執行程式,只要記憶體夠執行程式應該就沒問題吧?另外,我想讓master也作為一個slave執行程式好不好呢(充分利用master機子的性能)。Hadoop初學者,諸多疑問,還請諒解。
uj5u.com熱心網友回復:
干活的是slave,master只是調度,個人感覺配置應該反過來uj5u.com熱心網友回復:
關注下hadoop的各種角色,應該就明白了比如namenode,resourceManager,datanode等.
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/88596.html
標籤:Docker
上一篇:could not instantiate 'org.apache.pig.piggybank.storage.DBStorage
