小弟最近在做一個機器學習平臺，想通過前臺選擇資料源、演算法、引數之類的東西，由后臺程式提交到spark集群上呼叫sparkML庫來跑出結果，然后把結果回傳之后在前臺渲染出效果。實驗室之前有搭spark集群，這兩天看了一下java提交任務上去spark集群的東西，似乎都是要先把東西打jar包，再傳服務器通過spark-submit，這樣跟需求就不符了，懇求各位使用java呼叫過spark的大俠答疑解惑。委實是之前沒用過這方面的使用經驗。之前有找過一些代碼如下。
public class TestUtil {
public static void main(String[] args){
System.setProperty("user.name", "root");
SparkConf conf = new SparkConf().setAppName("Spark Java API 學習")
.setMaster("spark://211.87.227.79:7077");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD<String> users = sc.textFile("hdfs://211.87.227.79:8020/input/wordcount.txt");
System.out.println(users.first());
}
}
看了spark的UI這個任務確實也提交上去了，但是idea的控制臺一直重復地報這一段。
sparkUI如圖
要是有大俠可以解決，可以有償，留聯系方式就行。
uj5u.com熱心網友回復：
我有一個方案,我沒寫過類似的,但覺得方案還是可行的,你加我QQ吧 457259802,就是個方案而已,是否行得通,還不好說呢uj5u.com熱心網友回復：
如果是平臺的話一般都是寫個簡單的Web系統通過上傳jar包，后臺通過rest方式訪問spark服務地址提交的uj5u.com熱心網友回復：
兩個問題：第一個你是說你的程式遠程發送到集群上分布式運行，還是說僅僅呼叫集群上的資源，而實際運行是本地計算機。第一種類：你查一下spark-yarn運行方式，其中有一種是遠程提交，這個意思就是將你的程式遠程提交到集群分布式運行，第二種的話就簡單了，local[*]
uj5u.com熱心網友回復：
樓主是否以有解決方案？uj5u.com熱心網友回復：
在本地遠程除錯Spark的話，可以使用.setJars直接把你生成的jar包提交上去，十分的方便。uj5u.com熱心網友回復：
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/23902.html
標籤：Spark
上一篇：漫畫：量子計算為什么這么牛？