我提交的kafka streaming任務,提交的腳本是:submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.0.2.jar --master mesos://HOST:7077 --deploy-mode cluster --executor-memory 2G --total-executor-cores 50 --conf spark.default.parallelism=600 --conf spark.streaming.kafka.maxRatePerPartition=30 http://HOST:PORT/main.py,然后運行的時候會報jar包缺失:

我嘗試把jar包直接放到 $SPARK_HOME/lib 目錄,在創建SparkContext時就會報另外的錯誤,求大神指教!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/54876.html
標籤:Spark
