Spark任務Finished過后進入Spark History界面，Spark DAG Visualization打不開，求大神告知為什么



uj5u.com熱心網友回復：
碰到過類似問題，DAG...

Spark中如何將JavaRDD轉化為VertexRDD、EdgeRDD，如何用Java構造Graph？





uj5u.com熱心網友回復：
graphX貌似目前沒有java API


...

具體是，假設前端收到很多資料，然后發給spark處理資料，這個怎么實作。

以我現在的認知，如要使用spark集群處理作業的話，必須將程式打包，然后使用一臺機器使用submit提交。

但是Ja...

在命令列安裝時出現如下問題：

Exception in thread "main" java.awt.HeadlessException: Unable to detect graphics environment No X11 DISPLAY variable was set, but th...

為什么spark程式提交運行一次就結束了??? 每執行一次計算就要撰寫一次程式么？？還是撰寫一次腳本不斷地去submit應用程式?? 拿web應用來說，我寫一個servlet，然后就可以丟到tomca...

Configuration conf= context.getConfiguration();

FileSystem fs = FileSystem.get(conf);

try {

Path outputDir= new Path("/hisda...

master以yarn的方式跑，通過http://node1:18088/history/application_1470281024284_0054/executors/，可以看到如下圖所示資訊，





應用程式即driver的日志無法查看，我試過將lo...

場景：三個spark streaming作業（暫且叫a、b、c），作業a接收來自kafka的原始日志，處理后，再用兩個不同的topic發到kafka，作業b和作業c分別從kafka接收這兩個不同的topic。

機器：三臺虛...

集群資訊如下：





處理了3個txt檔案，總大小1.3G左右，想做一個統計關鍵詞出現的次數，在觸發shuffle操作時記憶體溢位

在spark-shell命令下執行，有6個worker每個分配2G記憶體...

剛接觸spark，很多東西不太明白，現在的需求是這樣的，假設我在外部宣告了一個欄位，在map中對這個欄位進行了賦值，然后在reduce中對這個欄位進行取值操作。我以wordcount為例，

objec...

見spark issues

https://issues.apache.org/jira/browse/SPARK-4049



但是到現在社區還沒有解決，問題是當一個被cache的RDD被重復使用很多次時，Fraction cached會大于100%...

我想要在IDEA上單機除錯spark里的PageRank演算法，但是我該如何具體設定它的運行記憶體和運行的core數量，來達到和分布式集群作比較的目的。求教各路大牛！



...

背景：

最近公司需要構建大資料中心，資料中心想建立在A市，資料來源于各個子應用系統，分別位于B市，C市，D市。現在需要將位于A,B,C市的子系統的部分資料（分散在各個表中）傳輸到A市的資...

用MyEclipse 寫了一個JavaWeb提交spark程式，spark開發的依賴包spark-assembly-1.3.0-hadoop2.6.0-cdh5.4.0.jar中的servlet.jar與tomcat中的servlet.jar沖突，如何解決？求大神指...

object SparkApp {



def main(args: Array[String]) {

val conf=new SparkConf().setAppName("Test")

conf.set("es.nodes","127.0.0.1:9200")



// conf...

1、val df = sqlcontext.range(0, 10)

2、val df1 = df.withColumn("uniform", dfdata.col("io"))

3、val df2 = df.withColumn("normal", randn(seed=27))

第二行例外，io...

最近在學spark，需要遠程提交，我寫了一個java類提交scala寫的SparkApplication jar包，使用yarn-client可以提交成功。為了方便，我想做個web，點擊提交按鈕直接可以提交spark程式，但...

val Size=5

val fixedLogs = rdd.map{row =>{

Size

}

}



在spark-shell 中宣告變數val Size=5；然后在map中參考，報錯"Task not serializable"該如何處理...

用breeze自帶的vector在spark中運行速度相較spark mlib中的vector是不是很慢，如何用spark自帶的vector取代breeze自帶的vector呢，謝謝



uj5u.com熱...

源代碼如下：

package org.apache.spark.examples



import scala.math.random



import org.apache.spark._



/** Computes an approximation to pi */

object SparkPi...

spark如何決議還有內嵌的json

比如：

{

"_index": "nginxacc-2016.09.30",

"_type": "logs",

"_id": "AVd6G5gNfVF4aGz4f2fE",

"_version": 1,

"_score": 1,

"_source...

我需要一份很大測PageRank的資料集，哪位大神有？告訴我網址也行。



uj5u.com熱心網友回復：
爬一個門戶網站



uj...

在下的環境配置如下：

centOS 6.7

hadoop2.7

hive 2.0

--------------------------

想要在機器上使用hive on spark，其中hadoop2.7支持的spark版本是2.0的。看了官網的介...

樓主的情況是，用自己的幾臺機器搭了spark standalone集群，用來做機器學習：生成可用樣本、特征提取、訓練、預測

第一步中，一批原始檔案經某演算法的處理生成一批可用樣本，而某演...

Spark監視UI頁面上，出現好多SQLXXX，這個正常嗎？請各位幫我看看，謝謝了！









下面是我的代碼，就是從Kafka里拉取資料，然后轉換成DateFrame后存盤到elastic search中，

似乎只要...