Apache Kylin安裝指南+入門案例(附圖)

Apache Kylin安裝檔案

• Kylin安裝
• Kylin使用案例

1. Kylin安裝

• 使用FTP工具上傳apache-kylin-2.5.1-bin-hbase1x.tar.gz壓縮包到node01的opt/software目錄下

• 解壓上一步上傳的壓縮包opt/module下tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module

• 進入opt/module目錄，更改apache-kylin-2.5.1-bin-hbase1x目錄名字mv pache-kylin-2.5.1-bin-hbase1x kylin-2.5.1

• 此時opt/module目錄結構如下
  

• 進入到kylin-2.5.1目錄，查看kylin的目錄結構
  

• 進入conf目錄，將 kylin.properties.template改成kylin.properties,命令：mv kylin.properties.template kylin.properties

• 編輯kylin.properties檔案,添加以下內容

   # 下面的node01是你的主機名，我將kylin裝在了第一個節點上，需要根據你的主機名更改
   kylin.server.cluster-servers=node01:7070
   kylin.server.mode=all
  

• 在/etc/profile下添加java hadoop hive hbase kylin spark的環境變數，下面參考我的設定

   # JAVA_HOME
   export JAVA_HOME=/opt/module/jdk1.8.0_144
   export PATH=:$JAVA_HOME/bin:$PATH
   
   # HADOOP_HOME
   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   
   # SPARK_HOME
   export SPARK_HOME=/opt/module/spark-2.1.1
   export PATH=$PATH:$SPARK_HOME/bin
   
   # HIVE_HOME
   export HIVE_HOME=/opt/module/hive-1.2.1
   export PATH=$PATH:$HIVE_HOME/bin
   
   # HBASE_HOME
   export HBASE_HOME=/opt/module/hbase-1.3.1
   export PATH=$PATH:$HBASE_HOME/bin
   
   # KYLIN_HOME
   export KYLIN_HOME=/opt/module/kylin-2.5.1
   export PATH=$PATH:$KYLIN_HOME/bin
  

• 使用分發命令分發/etc/profile檔案，命令是xsync /etc/profile

   # 附xsync腳本
   # 注意的兩個地方看下圖 一個是更改 for回圈中的條件，一個是更改用到主機名的地方
   # 使用檔案分發腳本步驟如下
    1. cd /usr/local/bin
    2. vim xsync
    3. 輸入下面的shell腳本內容
    4. chmod 777 xsync
    5. 在任意一個位置創建一個檔案，然后測驗xsync腳本
    
   
   #!/bin/bash
   #1 獲取輸入引數個數，如果沒有引數，直接退出
   pcount=$#
   if((pcount==0)); then
   echo no args;
   exit;
   fi
   
   #2 獲取檔案名稱
   p1=$1
   fname=`basename $p1`
   echo fname=$fname
   
   #3 獲取上級目錄到絕對路徑
   pdir=`cd -P $(dirname $p1); pwd`
   echo pdir=$pdir
   
   #4 獲取當前用戶名稱
   user=`whoami`
   
   #5 回圈
   for((host=1; host<4; host++)); do
           echo ------------ node0$host ----------------
                   # rsync是遠程同步工具 -r遞回 -v顯示復制程序 -l拷貝軟連接
           rsync -rvl $pdir/$fname $user@node0$host:$pdir
   done
  

  

• 由于上面在/etc/profile檔案中新增了內容，需要鍵入source /etc/profile讓剛剛做的修改立即生效

• 正式分發/etc/profile檔案，鍵入命令xsync /etc/profile

• 到第二個和第三個節點上查看/etc/profile檔案中的內容是否和第一個節點中的檔案內容一致

• 在第二個節點和第三個節點上鍵入命令source /etc/profile

• 進入kylin的安裝目錄 cd /opt/module/kylin-2.5.1/
  

• 鍵入以下命令以分別檢查環境

   # 檢查環境
   bin/check-env.sh
   # 檢查hive依賴
   bin/find-hive-dependency.sh
   # 檢查hbase依賴
   bin/find-hbase-dependency.sh
  

• 啟動/停止Kylin

   # 啟動Kylin
   bin/kylin.sh start
   # 停止Kylin
   bin/kylin.sh stop
  

• Warnings這里目前收集了一次錯誤，之前都解決了，如果有需要請在帖子下方留言您的error

  錯誤：ERROR: Check hive's usability failed, please check the status of your cluster

  解決 在kylin的安裝目錄下進入bin目錄然后找到check-hive-usability.sh,之后鍵入命令vim check-hive-usability.sh編輯該檔案，修改timeLeft的值為100(默認值為60)，見下圖
  

• 進入web界面

  如果成功啟動，在terminal中鍵入jps命令會出現RunJar的行程，terminal末尾的顯示的資訊如下圖
  

   # 進入瀏覽器，在地址欄中輸入
   node01:7070/kylin/login
   # 賬號和密碼資訊
   賬號：ADMIN
   密碼：KYLIN
  

• Web界面如下
  

2.Kylin使用案例

• 資料準備

  • 百度網盤鏈接下載: https://pan.baidu.com/s/18vuT3wbANskP7J3nhlf4GQ 密碼: 10jw

  • 下載emp.txt和dept.txt

• 進入到Hive的操作界面

  • 創建資料庫表

    # 創建部門表
    create external table if not exists default.dept(
    deptno int,
    dname string,
    loc int
    )
    row format delimited fields terminated by '\t';
    
    # 創建員工表
    create external table if not exists default.emp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string, 
    sal double, 
    comm double,
    deptno int)
    row format delimited fields terminated by '\t';
    

  • 查看創建的表

    show tables;

  • 向表中匯入資料

    # 將從網盤中下載好的資料檔案匯入到節點的`/opt/module/datas`目錄下（datas目錄是自己手動創建的）
    # 這里Hive中就使用默認的資料庫default資料庫
    
    # 向部門表dept中匯入資料
    load data local inpath '/opt/module/datas/dept.txt' into table default.dept;
    
    # 向員工表emp中匯入資料
    load data local inpath '/opt/module/datas/emp.txt' into table default.emp;
    

  • 查看兩張表中的資料

    select * from emp;

    select * from dept;

• 在Kylin的Web界面創建專案

  • 登錄系統

    • 用戶名:ADMIN 密碼:KYLIN

  • 創建工程

    • 點擊左上角的 + 號，輸入Project Name和Project Description;最后點擊頁面卡右下方的Sumbit來提交
      

    

  • 選擇資料源
    
    

  • 查看資料源
    

  • 創建Model

    • 回到Models頁面
      

    • 填充Model名稱和描述資訊，然后繼續Next

      

    • 選擇事實表

      

    • 選擇添加的維度表及JOIN的欄位

      

    • 選擇添加的維度表和JOIN的欄位

      

    • 選擇維度資訊

      

    • 選擇度量資訊

      

    • 添加磁區資訊及where過濾條件，點擊Save

      

    • ModelOne創建完成

      

  • 創建Cube

    • 選擇Model -> New Cube，選擇我們剛剛創建的ModelOne并填寫Cube Name

      

    • 添加維度

      

      

    • 添加預計算內容
      

• 創建好的Cube資訊展
  
  • 到此為止，我們的CubeOne配置完成

• 觸發Cube預計算

  • 點擊Action ->Build

    

  • 查看構建進度

    

  • Cube構建完成

    

• 對比Kylin和Hive

  • Hive查詢

    # 需求：根據部門名稱統計員工薪水總數
    # 進入到Hive的Shell埠 bin/hive
    # 鍵入下面的陳述句
    
    select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname;
    

    查詢時間

    

  • Kylin查詢

    進入Insight頁面，輸入SQL陳述句，點擊Sumbit來提交