情況是這樣的：
我有五臺服務器搭建了一個cdh的集群，分別是從nana1到nana5，因為是chd自動搭建的平臺，nana1為主節點配置如下：
其余節點配置如下：
那么問題來了：
我有四個datanode，我現在使用spark-shell的時候，想讓這四個datanode都成為worker節點，這四個節點一起作業分析任務。
所以我在cm中配置如下：
我的理想是啟動時候四個節點都乖乖的成為worker，他們四個干活，nana1揮著鞭子指揮他們。但是，理想始終像被汪啃了一塊，當我啟動spark-shell的時候，啟動配置如下：
nana1是BlockManager ，nana2是ApplicationMaster ，nana3到nana5是worker
這TM的不科學
那么問題來了，請問各位大神：
1.spark的結構配置就是這樣的么，一個blockmanager , 一個applicationMaster ，其余的才是worker？
2.如果我想改變這樣的配置，讓nana2-5成為worker，nana1自己去管理，這樣的方案可行么？
3.如果2可行，那么，請問具體怎么配置？
謝謝各位大神。。。。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/94332.html
標籤：Spark
上一篇：wordcount exception in thread main java.lang.classnotfoundexception:Wordcount