Spark SQL主要提供了兩個工具來訪問hive中的資料，即CLI和ThriftServer，前提是需要Spark支持Hive，即編譯Spark時需要帶上hive和hive-thriftserver選項，同時需要確保在$SPARK_HOME/conf目錄下有hive-site.xml組態檔（可以從hive中拷貝過來），在該組態檔中主要是配置hive metastore的URI（Spark的CLI和ThriftServer都需要）以及ThriftServer相關配置項（如hive.server2.thrift.bind.host、hive.server2.thrift.port等），注意如果該臺機器上同時運行有Hive ThriftServer和Spark ThriftServer，則hive中的hive.server2.thrift.port配置的埠與spark中的hive.server2.thrift.port配置的埠要不一樣，避免同時啟動時發生埠沖突，
啟動CLI和ThriftServer之前都需要先啟動hive metastore，執行如下命令啟動：
[root@BruceCentOS ~]# nohup hive --service metastore &
成功啟動后，會出現一個RunJar的行程，同時會監聽埠9083（hive metastore的默認埠），
先來看CLI，通過spark-sql腳本來使用CLI，執行如下命令：
[root@BruceCentOS4 spark]# $SPARK_HOME/bin/spark-sql --master yarn
上述命令執行后會啟動一個yarn client模式的Spark程式，如下圖所示：
同時它會連接到hive metastore，可以在隨后出現的spark-sql>提示符下運行hive sql陳述句，比如：
其中每輸入并執行一個SQL陳述句相當于執行了一個Spark的Job，如圖所示：
也就是說執行spark-sql腳本會啟動一個yarn clien模式的Spark Application，而后出現spark-sql>提示符，在提示符下的每個SQL陳述句都會在Spark中執行一個Job，但是對應的都是同一個Application，這個Application會一直運行，可以持續輸入SQL陳述句執行Job，直到輸入“quit;”，然后就會退出spark-sql，即Spark Application執行完畢，
另外一種更好地使用Spark SQL的方法是通過ThriftServer，首先需要啟動Spark的ThriftServer，然后通過Spark下的beeline或者自行撰寫程式通過JDBC方式使用Spark SQL，
通過如下命令啟動Spark ThriftServer：
[root@BruceCentOS4 spark]# $SPARK_HOME/sbin/start-thriftserver.sh --master yarn
執行上面的命令后，會生成一個SparkSubmit行程，實際上是啟動一個yarn client模式的Spark Application，如下圖所示：
而且它提供一個JDBC/ODBC介面，用戶可以通過JDBC/ODBC介面連接ThriftServer來訪問Spark SQL的資料，具體可以通過Spark提供的beeline或者在程式中使用JDBC連接ThriftServer，例如在啟動Spark ThriftServer后，可以通過如下命令使用beeline來訪問Spark SQL的資料，
[root@BruceCentOS3 spark]# $SPARK_HOME/bin/beeline -n root -u jdbc:hive2://BruceCentOS4.Hadoop:10003
上述beeline連接到了BruceCentOS4上的10003埠，也就是Spark ThriftServer，所有連接到ThriftServer的客戶端beeline或者JDBC程式共享同一個Spark Application，通過beeline或者JDBC程式執行SQL相當于向這個Application提交并執行一個Job，在提示符下輸入“!exit”命令可以退出beeline，
最后，如果要停止ThriftServer（即停止Spark Application），需要執行如下命令：
[root@BruceCentOS4 spark]# $SPARK_HOME/sbin/stop-thriftserver.sh
綜上所述，在Spark SQL的CLI和ThriftServer中，比較推薦使用后者，因為后者更加輕量，只需要啟動一個ThriftServer（對應一個Spark Application）就可以給多個beeline客戶端或者JDBC程式客戶端使用SQL，而前者啟動一個CLI就啟動了一個Spark Application，它只能給一個用戶使用，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/44444.html
標籤：大數據
上一篇：【Elasticsearch 7 探索之路】（三）倒排索引
下一篇：spark利用yarn提交任務報:YARN application has exited unexpectedly with state UNDEFINED