如標題，公司想開發這樣一個小程式，但是現在不知道從何下手，spark又沒有提供介面可以在我的web應用程式里面直接呼叫，那意味著是不是我每次查詢的時候，要把sql陳述句和對應的scala代碼一起通過ssh提交到集群的主機上運行spark-shell命令，但是有幾個地方想不明白
1.這樣執行的結果我怎么拿回來顯示在web界面上？還是有其他的辦法實作？
2.我們有個功能點是機器學習所以會用到MLLib，每個流程點都需要提交查詢一次，把結果拿一部分回來給用戶看，并把結果作為下個流程節點的輸入，那我的web程式怎么和集群溝通
uj5u.com熱心網友回復：
樓主的問題是怎么解決的，我們現在也要這樣來做，要怎么進行 ，能不能給小弟一點指導uj5u.com熱心網友回復：
參考一下apache的開源專案： apache lensuj5u.com熱心網友回復：
樓主怎么弄得，能分享一下嗎uj5u.com熱心網友回復：
把web端的請求寫入kafka，Spark 讀取kafka資料處理將后寫入快取資料庫。uj5u.com熱心網友回復：
http://blog.csdn.net/linchunhua/article/details/52228730uj5u.com熱心網友回復：
話說不需要吧，spark不是提供java的api嗎，直接在web后臺引入spark的包然后呼叫api就能提交東西吧 如果東西多本地放不下，在hdfs上的話，也可以呼叫得到的，沒必要非得打成包。我說的不是本地模式，是吧本地也看成是一個節點，雖然沒干過，不過本地壓力應該不小。uj5u.com熱心網友回復：
樓主是怎么解決的？公司也遇到同樣的問題，網上都說可以打開Spark的thrift-server埠，但是CDH版的SPark根本就沒有啟動thrift-server的檔案uj5u.com熱心網友回復：
樓主 我這邊搞了一下，可以搞，試試 akka-http轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/65960.html
標籤：Spark