我用的版本是CDH4.1.2的，基于yarn的hadoop集群，集群規模不大，就10臺，最近碰到一個問題，請各位幫忙看看，謝謝了。
在hive中執行一條sql陳述句，我用hive -hiveconf hive.root.logger=DEBUG,console列印出它的日志,如下:
14/10/27 09:51:57 INFO ql.Driver: <PERFLOG method=releaseLocks>
14/10/27 09:51:57 INFO ql.Driver: </PERFLOG method=releaseLocks start=1414374717140 end=1414374717140 duration=0>
14/10/27 09:51:57 INFO ql.Driver: </PERFLOG method=Driver.run start=1414374717102 end=1414374717140 duration=38>
14/10/27 09:51:57 INFO CliDriver: Time taken: 0.038 seconds
hive> select settle_date,count(1) from t_ods_cash_payment where settle_date_month='201410' group by settle_date order by settle_date;
14/10/27 09:54:01 INFO ql.Driver: <PERFLOG method=Driver.run>
14/10/27 09:54:01 INFO ql.Driver: <PERFLOG method=TimeToSubmit>
14/10/27 09:54:01 INFO ql.Driver: <PERFLOG method=compile>
可以從客戶端cli提交到resourcemanager，足足花了3分鐘時間。
然后檢查了防火墻(關閉的)，hdfs和yarn的狀況是好的，各子節點運行也是正常的(通過web頁面查看)，介面機的執行緒數也調到足夠大了，各機器的記憶體、cpu和磁盤負載都不是很大，網路也是正常的，組態檔也正常。
然后自己寫了一個wordcount，放到集群去執行，提交任務程序還是很慢，可以排除hive的問題，看來是yarn的問題，但重啟過服務還是不行，請問各位有碰到過這樣的情況嗎?
uj5u.com熱心網友回復：
yarn的配置引數如何呢，感覺是因為分配資源引起的uj5u.com熱心網友回復：
最好把相關配置也貼出來轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/101559.html
標籤：Spark
上一篇：netapp 雙控改為單控的問題