python寫了一個很簡單的程式:
conf=Sparkconf().setMaster("spark://123.43.54.12:7077").setAppname("test")
sc=SparkContext(conf=conf)
def ct(p):
temp=0
for i in range(10000):
tempi=math.sin(i)+math.cos(i)
temp=temp+tempi
return temp
p_list=list(range(100000))
p_rdd=sc.parallelize(p_list,4)
gt_value=https://bbs.csdn.net/topics/p_rdd.map(lambda p:ct(p)).coalesce(144)
sc.stop()
每次執行都發現，僅僅在一個executor上運行，每次執行，且worker的地址可能會變化。根本不能使用所有的執行器。
提交語法：
submit --master spark://123.43.54.12:7077 --deploy-mode client --num-executors 2 --executor-cores 1
很是奇怪。作業系統的邏輯cpu3個。。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/29225.html
標籤：Spark
上一篇：求助！openstack glance 創建鏡像報401
下一篇：RPA的風！！