小弟最近初學spark，每次跑spark的job，都需要在命令列輸bin/spark-submit XXXX，十分的繁瑣，于是我想有沒有一種方法，可以在代碼中跑spark-submit，但是又不想是以在代碼中跑命令列的方式跑。比如有沒有這樣的代碼
SparkResult result = spark.submit();不勝感激~
uj5u.com熱心網友回復：
兩種方式：http://blog.sequenceiq.com/blog/2014/08/22/spark-submit-in-java/
http://www.open-open.com/lib/view/open1397180071590.html
uj5u.com熱心網友回復：
寫Linux腳本#!/bin/sh
if [ $# -lt 2 ] ;then
echo "Useage:$0 <hdfs_input_file> $1 <hdfs_output_file>"
exit
else
echo "wordcount is starting!"
spark-submit \
--master spark://spark:7077 \
--class WordCount \
--executor-memory 512m \
--total-executor-cores 6 \
~/input/WordCount.jar \
"$1" \
"$2"
echo "wordcount is stopped!"
fi
就象這樣
uj5u.com熱心網友回復：
http://spark.apache.org/docs/latest/submitting-applications.html官方的說明最好。
uj5u.com熱心網友回復：
SparkLauncher轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/92987.html
標籤：Spark
上一篇：WebDriver常用API