hive 學習筆記

// 修改表名
ALTER TABLE table_name RENAME TO new_table_name;
// 增加單個表磁區
hive (default)> alter table dept_partition add partition(day='20200404');
// 增加多個表磁區
hive (default)> alter table dept_partition add partition(day='20200405') partition(day='20200406');
// 洗掉單個磁區
hive (default)> alter table dept_partition drop partition (day='20200406');
// 同時洗掉多個磁區
hive (default)> alter table dept_partition drop partition (day='20200404'), partition(day='20200405');

（7）洗掉表

hive (default)> drop table dept; 	

五、DML 資料操作

（1）資料匯入 load data

hive> load data [local] inpath '資料的 path' [overwrite] into table
student [partition (partcol1=val1,…)];

（1）load data:表示加載資料
（2）local:表示從本地加載資料到 hive 表；否則從 HDFS 加載資料到 hive 表
（3）inpath:表示加載資料的路徑
（4）overwrite:表示覆寫表中已有資料，否則表示追加
（5）into table:表示加載到哪張表
（6）student:表示具體的表

（2）插入資料

// 基本模式插入（根據單張表查詢結果）
hive (default)> insert overwrite table student_par
select id, name from student where month='201709';
// 多表（多磁區）插入模式（根據多張表查詢結果）,student 為具體的源表
hive (default)> from student
insert overwrite table student partition(month='201707') select id, name where month='201709'
insert overwrite table student partition(month='201706') select id, name where month='201709';

（3）創建表時通過 Location 指定加載資料路徑

1.上傳資料到 hdfs 上
hive (default)> dfs -mkdir /student;
hive (default)> dfs -put /opt/module/datas/student.txt /student;

2.創建表，并指定在 hdfs 上的位置
hive (default)> create external table if not exists student5( id int, name string)
row format delimited fields terminated by '\t' location '/student;

3.查詢資料
hive (default)> select * from student5; 

（4）Import 資料到指定 Hive 表中

hive (default)> import table student2
from '/user/hive/warehouse/export/student';

（5）資料匯出

1.Insert 匯出，將查詢的結果匯出到本地
hive (default)> insert overwrite local directory '/opt/module/hive/data/export/student'
select * from student;

2.將查詢的結果格式化匯出到本地
hive(default)>insert overwrite local directory '/opt/module/hive/data/export/student1'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select * from student;

3.將查詢的結果匯出到 HDFS 上(沒有 local)
hive (default)> insert overwrite directory '/user/atguigu/student2' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select * from student;

4.Hadoop 命令匯出到本地
hive (default)> dfs -get /user/hive/warehouse/student/student.txt
/opt/module/data/export/student3.txt;

5. Hive Shell 命令匯出
bin/hive -e 'select * from default.student;' > /opt/module/hive/data/export/student4.txt;

6. Export 匯出到 HDFS 上
hive (default)> export table default.student to 

（6）清除表中資料（Truncate）

// 注意：Truncate 只能洗掉管理表，不能洗掉外部表中資料
hive (default)> truncate table student; 	

六、查詢

官網查詢解釋

SELECT [ALL | DISTINCT] select_expr, select_expr, ...
  FROM table_reference
  [WHERE where_condition]
  [GROUP BY col_list]
  [ORDER BY col_list]
  [CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY col_list]
  ]
 [LIMIT [offset,] rows]

七、磁區表和分桶表

（1）磁區表

1. 創建磁區表語法
hive (default)> create table dept_partition( deptno int, dname string, loc string)
partitioned by (day string)
row format delimited fields terminated by '\t';
注意：磁區欄位不能是表中已經存在的資料，可以將磁區欄位看作表的偽列，

2.加載資料到磁區表中，注意：磁區表加載資料時，必須指定磁區
hive (default)> load data local inpath
'/opt/module/hive/datas/dept_20200401.log' into table dept_partition partition(day='20200401');
hive (default)> load data local inpath
'/opt/module/hive/datas/dept_20200403.log' into table dept_partition
partition(day='20200403');

3.查詢磁區表中資料 單磁區查詢
hive (default)> select * from dept_partition where day='20200401'; 	

4.增加磁區
hive (default)> alter table dept_partition add partition(day='20200404');
hive (default)> alter table dept_partition add partition(day='20200405') partition(day='20200406');

5.洗掉磁區
hive (default)> alter table dept_partition drop partition (day='20200406');
hive (default)> alter table dept_partition drop partition (day='20200404'), partition(day='20200405');

6.查看磁區表有多少磁區
hive> show partitions dept_partition; 	

7.查看磁區表結構
hive> desc formatted dept_partition;

（2）二級磁區

// 創建二級磁區表
hive (default)> create table dept_partition2( deptno int, dname string, loc string)
partitioned by (day string, hour string)
row format delimited fields terminated by '\t';

// 加載資料到二級磁區表中
hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table dept_partition2 partition(day='20200401', hour='12');

// 查詢磁區資料
hive (default)> select * from dept_partition2 where day='20200401' and hour='12';

（3）把資料直接上傳到磁區目錄上，讓磁區表和資料產生關聯的三種方式

方式一：上傳資料后修復 上傳
hive (default)> dfs -mkdir -p
/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=13; 
hive (default)> dfs -put /opt/module/datas/dept_20200401.log
/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=13;
查詢資料（查詢不到剛上傳的資料）
hive (default)> select * from dept_partition2 where day='20200401' and hour='13';
執行修復命令
hive> msck repair table dept_partition2; 	


方式二：上傳資料后添加磁區 上傳資料
hive (default)> dfs -mkdir -p
/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=14; 
hive (default)> dfs -put /opt/module/hive/datas/dept_20200401.log
/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=14;
執行添加磁區
hive (default)> alter table dept_partition2 add partition(day='201709',hour='14');
查詢資料
hive (default)> select * from dept_partition2 where day='20200401' and hour='14';


方式三：創建檔案夾后 load 資料到磁區 創建目錄
hive (default)> dfs -mkdir -p
/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=15;
上傳資料
hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table dept_partition2 partition(day='20200401',hour='15');
查詢資料
hive (default)> select * from dept_partition2 where day='20200401' and hour='15';

（4）分桶表

// 創建分桶表
create table stu_buck(id int, name string) clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t';

// 查看表結構
hive (default)> desc formatted stu_buck; 
Num Buckets:	4

// 匯入資料到分桶表中，load 的方式
hive (default)> load data inpath '/student.txt' into table stu_buck; 

分桶表操作需要注意的事項:
（1）reduce 的個數設定為-1,讓 Job 自行決定需要用多少個 reduce 或者將 reduce 的個 數設定為大于等于分桶表的桶數
（2）從 hdfs 中 load 資料到分桶表中，避免本地檔案找不到問題
（3）不要使用本地模式

八、函式

（1）查看系統自帶的函式
hive> show functions;
（2）顯示自帶的函式的用法
hive> desc function upper;
（3）詳細顯示自帶的函式的用法
hive> desc function extended upper;