主頁 >  其他 > Hive簡介

Hive簡介

2020-12-02 22:58:34 其他

1.1  Hive簡介

1.1.1 什么是Hive

Hive是基于Hadoop的一個資料倉庫工具，可以將結構化的資料檔案映射為一張資料庫表，并提供類SQL查詢功能，

1.1.2 為什么使用Hive

  • 直接使用hadoop所面臨的問題

人員學習成本太高

專案周期要求太短

MapReduce實作復雜查詢邏輯開發難度太大

 

  • 為什么要使用Hive

操作介面采用類SQL語法，提供快速開發的能力，

避免了去寫MapReduce，減少開發人員的學習成本，

擴展功能很方便，

1.1.3 Hive的特點

  • 可擴展

Hive可以自由的擴展集群的規模，一般情況下不需要重啟服務，

 

  • 延展性

Hive支持用戶自定義函式，用戶可以根據自己的需求來實作自己的函式，

 

  • 容錯

良好的容錯性，節點出現問題SQL仍可完成執行，

1.2  Hive架構

1.2.1 架構圖

 

 

Jobtracker是hadoop1.x中的組件，它的功能相當于： Resourcemanager+AppMaster

 

TaskTracker 相當于：  Nodemanager  +  yarnchild

 

 

 

 

1.2.2 基本組成

  • 用戶介面：包括 CLI、JDBC/ODBC、WebGUI，
  • 元資料存盤：通常是存盤在關系資料庫如 mysql , derby中，
  • 解釋器、編譯器、優化器、執行器，
  • 用戶介面主要由三個：CLI、JDBC/ODBC和WebGUI，其中，CLI為shell命令列；JDBC/ODBC是Hive的JAVA實作，與傳統資料庫JDBC類似；WebGUI是通過瀏覽器訪問Hive，
  • 元資料存盤：Hive 將元資料存盤在資料庫中，Hive 中的元資料包括表的名字，表的列和磁區及其屬性，表的屬性（是否為外部表等），表的資料所在目錄等，
  • 解釋器、編譯器、優化器完成 HQL 查詢陳述句從詞法分析、語法分析、編譯、優化以及查詢計劃的生成，生成的查詢計劃存盤在 HDFS 中，并在隨后有 MapReduce 呼叫執行，

1.2.3  各組件的基本功能

1.3 Hive與Hadoop的關系

Hive利用HDFS存盤資料，利用MapReduce查詢資料

 

 

 

 

1.4 Hive與傳統資料庫對比

 

 

 

總結：hive具有sql資料庫的外表，但應用場景完全不同，hive只適合用來做批量資料統計分析

1.5 Hive的資料存盤

1、Hive中所有的資料都存盤在 HDFS 中，沒有專門的資料存盤格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）

2、只需要在創建表的時候告訴 Hive 資料中的列分隔符和行分隔符，Hive 就可以決議資料，

3、Hive 中包含以下資料模型：DB、Table，External Table，Partition，Bucket，

2  db：在hdfs中表現為${hive.metastore.warehouse.dir}目錄下一個檔案夾

2  table：在hdfs中表現所屬db目錄下一個檔案夾

2  external table：與table類似，不過其資料存放位置可以在任意指定路徑

2  partition：在hdfs中表現為table目錄下的子目錄

2  bucket：在hdfs中表現為同一個表目錄下根據hash散列之后的多個檔案

 

 

1.6 HIVE的安裝部署

1.6.1 安裝

單機版：

元資料庫mysql版：

 

1.6.2 使用方式

Hive互動shell

bin/hive

 

 

Hive thrift服務

 

 

啟動方式，（假如是在hadoop01上）：

啟動為前臺：bin/hiveserver2

啟動為后臺：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &

 

啟動成功后，可以在別的節點上用beeline去連接

v  方式（1）

hive/bin/beeline  回車，進入beeline的命令界面

輸入命令連接hiveserver2

beeline> !connect jdbc:hive2//mini1:10000

（hadoop01是hiveserver2所啟動的那臺主機名，埠默認是10000）

v  方式（2）

或者啟動就連接：

bin/beeline -u jdbc:hive2://mini1:10000 -n hadoop

 

接下來就可以做正常sql查詢了

 

 

Hive命令

[hadoop@hdp-node-02 ~]$ hive  -e  ‘sql’

 

 

2.   Hive基本操作

2.1  DDL操作

2.1.1    創建表

建表語法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

   [(col_name data_type [COMMENT col_comment], ...)]

   [COMMENT table_comment]

   [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]

   [CLUSTERED BY (col_name, col_name, ...)

   [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]

   [ROW FORMAT row_format]

   [STORED AS file_format]

   [LOCATION hdfs_path]

 

說明：

1、 CREATE TABLE 創建一個指定名字的表，如果相同名字的表已經存在，則拋出例外；用戶可以用 IF NOT EXISTS 選項來忽略這個例外，

2、 EXTERNAL關鍵字可以讓用戶創建一個外部表，在建表的同時指定一個指向實際資料的路徑（LOCATION），Hive 創建內部表時，會將資料移動到資料倉庫指向的路徑；若創建外部表，僅記錄資料所在的路徑，不對資料的位置做任何改變，在洗掉表的時候，內部表的元資料和資料會被一起洗掉，而外部表只洗掉元資料，不洗掉資料，

3、 LIKE 允許用戶復制現有的表結構，但是不復制資料，

4、 ROW FORMAT

DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]

        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]

   | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]

用戶在建表的時候可以自定義 SerDe 或者使用自帶的 SerDe，如果沒有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，將會使用自帶的 SerDe，在建表的時候，用戶還需要為表指定列，用戶在指定表的列的同時也會指定自定義的 SerDe，Hive通過 SerDe 確定表的具體的列的資料，

5、 STORED AS

SEQUENCEFILE|TEXTFILE|RCFILE

如果檔案資料是純文本，可以使用 STORED AS TEXTFILE，如果資料需要壓縮，使用 STORED AS SEQUENCEFILE，

 

6、CLUSTERED BY

對于每一個表（table）或者磁區， Hive可以進一步組織成桶，也就是說桶是更為細粒度的資料范圍劃分，Hive也是 針對某一列進行桶的組織，Hive采用對列值哈希，然后除以桶的個數求余的方式決定該條記錄存放在哪個桶當中，

把表（或者磁區）組織成桶（Bucket）有兩個理由：

（1）獲得更高的查詢處理效率，桶為表加上了額外的結構，Hive 在處理有些查詢時能利用這個結構，具體而言，連接兩個在（包含連接列的）相同列上劃分了桶的表，可以使用 Map 端連接 （Map-side join）高效的實作，比如JOIN操作，對于JOIN操作兩個表有一個相同的列，如果對這兩個表都進行了桶操作，那么將保存相同列值的桶進行JOIN操作就可以，可以大大較少JOIN的資料量，

（2）使取樣（sampling）更高效，在處理大規模資料集時，在開發和修改查詢的階段，如果能在資料集的一小部分資料上試運行查詢，會帶來很多方便，

 

 

具體實體

1、  創建內部表mytable，

 

 

 

2、  創建外部表pageview，

 

 

 

3、  創建磁區表invites，

create table student_p(Sno int,Sname string,Sex string,Sage int,Sdept string) partitioned by(part string) row format delimited fields terminated by ','stored as textfile;

 

 

 

 

4、  創建帶桶的表student，

 

 

2.1.2 修改表

增加/洗掉磁區

ü  語法結構

ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ...

partition_spec:

: PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

 

ALTER TABLE table_name DROP partition_spec, partition_spec,...

ü  具體實體

alter table student_p add partition(part='a') partition(part='b');

 

 

 

重命名表

ü  語法結構

ALTER TABLE table_name RENAME TO new_table_name

ü  具體實體

 

 

增加/更新列

ü  語法結構

ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

 

注：ADD是代表新增一欄位，欄位位置在所有列后面(partition列前)，REPLACE則是表示替換表中所有欄位，

 

ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]

ü  具體實體

 

 

2.1.3 顯示命令

show tables

show databases

show partitions

show functions

desc extended t_name;

desc formatted table_name;

2.2  DML操作

2.2.1 Load

  語法結構

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO

TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

 

說明：

1、  Load 操作只是單純的復制/移動操作，將資料檔案移動到 Hive 表對應的位置，

2、  filepath：

相對路徑，例如：project/data1

絕對路徑，例如：/user/hive/project/data1

包含模式的完整 URI，列如：

hdfs://namenode:9000/user/hive/project/data1

3、  LOCAL關鍵字

如果指定了 LOCAL， load 命令會去查找本地檔案系統中的 filepath，

如果沒有指定 LOCAL 關鍵字，則根據inpath中的uri

 

如果指定了 LOCAL，那么：

load 命令會去查找本地檔案系統中的 filepath，如果發現是相對路徑，則路徑會被解釋為相對于當前用戶的當前路徑，

load 命令會將 filepath中的檔案復制到目標檔案系統中，目標檔案系統由表的位置屬性決定，被復制的資料檔案移動到表的資料對應的位置，

 

如果沒有指定 LOCAL 關鍵字，如果 filepath 指向的是一個完整的 URI，hive 會直接使用這個 URI， 否則：如果沒有指定 schema 或者 authority，Hive 會使用在 hadoop 組態檔中定義的 schema 和 authority，fs.default.name 指定了 Namenode 的 URI，

如果路徑不是絕對的，Hive 相對于/user/進行解釋，

Hive 會將 filepath 中指定的檔案內容移動到 table （或者 partition）所指定的路徑中，

 

4、  OVERWRITE 關鍵字

如果使用了 OVERWRITE 關鍵字，則目標表（或者磁區）中的內容會被洗掉，然后再將 filepath 指向的檔案/目錄中的內容添加到表/磁區中，

如果目標表（磁區）已經有一個檔案，并且檔案名和 filepath 中的檔案名沖突，那么現有的檔案會被新檔案所替代，

 

  具體實體

1、 加載相對路徑資料，

 

 

 

2、 加載絕對路徑資料，

 

 

 

3、 加載包含模式資料，

 

 

 

4、 OVERWRITE關鍵字使用，

 

 

2.2.2     Insert

  將查詢結果插入Hive表

ü  語法結構

INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement

 

Multiple inserts:

FROM from_statement

INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1

[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2] ...

 

Dynamic partition inserts:

INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement

 

ü  具體實體

1、基本模式插入，

 

 

 

 

2、多插入模式，

 

 

 

3、自動磁區模式，

 

 

 

v  匯出表資料

ü  語法結構

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ... FROM ...

 

 

multiple inserts:

FROM from_statement

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1

[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...

 

ü  具體實體

1、匯出檔案到本地，

 

 

 

說明：

資料寫入到檔案系統時進行文本序列化，且每列用^A來區分，\n為換行符，用more命令查看時不容易看出分割符，可以使用: sed -e 's/\x01/|/g' filename[dht3] 來查看，

 

2、匯出資料到HDFS，

 

 

2.2.3     SELECT

  基本的Select操作

ü  語法結構

SELECT [ALL | DISTINCT] select_expr, select_expr, ...

FROM table_reference

[WHERE where_condition]

[GROUP BY col_list [HAVING condition]]

[CLUSTER BY col_list

  | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]

]

[LIMIT number]

 

注：1、order by 會對輸入做全域排序，因此只有一個reducer，會導致當輸入規模較大時，需要較長的計算時間，

2、sort by不是全域排序，其在資料進入reducer前完成排序，因此，如果用sort by進行排序，并且設定mapred.reduce.tasks>1，則sort by只保證每個reducer的輸出有序，不保證全域有序，

3、distribute by(欄位)根據指定的欄位將資料分到不同的reducer，且分發演算法是hash散列，

4、Cluster by(欄位)除了具有Distribute by的功能外，還會對該欄位進行排序，

 

 

因此，如果分桶和sort欄位是同一個時，此時，cluster by = distribute by + sort by

 

分桶表的作用：最大的作用是用來提高join操作的效率；

（思考這個問題：

select a.id,a.name,b.addr from a join b on a.id = b.id;

如果a表和b表已經是分桶表，而且分桶的欄位是id欄位

做這個join操作時，還需要全表做笛卡爾積嗎？）

 

 

 

 

ü  具體實體

1、獲取年齡大的3個學生，

 

 

 

2、查詢學生資訊按年齡，降序排序，

 

 

 

 

 

 

 

3、按學生名稱匯總學生年齡，

 

 

 

 

2.3 Hive Join

  語法結構

join_table:

  table_reference JOIN table_factor [join_condition]

  | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition

  | table_reference LEFT SEMI JOIN table_reference join_condition

Hive 支持等值連接（equality joins）、外連接（outer joins）和（left/right joins），Hive 不支持非等值的連接，因為非等值連接非常難轉化到 map/reduce 任務，

另外，Hive 支持多于 2 個表的連接，

寫 join 查詢時，需要注意幾個關鍵點：

1. 只支持等值join

例如：

  SELECT a.* FROM a JOIN b ON (a.id = b.id)

  SELECT a.* FROM a JOIN b

    ON (a.id = b.id AND a.department = b.department)

是正確的，然而:

  SELECT a.* FROM a JOIN b ON (a.id>b.id)

是錯誤的，

 

2. 可以 join 多于 2 個表，

例如

  SELECT a.val, b.val, c.val FROM a JOIN b

    ON (a.key = b.key1) JOIN c ON (c.key = b.key2)

如果join中多個表的 join key 是同一個，則 join 會被轉化為單個 map/reduce 任務，例如：

  SELECT a.val, b.val, c.val FROM a JOIN b

    ON (a.key = b.key1) JOIN c

    ON (c.key = b.key1)

被轉化為單個 map/reduce 任務，因為 join 中只使用了 b.key1 作為 join key，

SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1)

  JOIN c ON (c.key = b.key2)

而這一 join 被轉化為 2 個 map/reduce 任務，因為 b.key1 用于第一次 join 條件，而 b.key2 用于第二次 join，

  

3．join 時，每次 map/reduce 任務的邏輯：

    reducer 會快取 join 序列中除了最后一個表的所有表的記錄，再通過最后一個表將結果序列化到檔案系統，這一實作有助于在 reduce 端減少記憶體的使用量，實踐中，應該把最大的那個表寫在最后（否則會因為快取浪費大量記憶體），例如：

 SELECT a.val, b.val, c.val FROM a

    JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)

所有表都使用同一個 join key（使用 1 次 map/reduce 任務計算），Reduce 端會快取 a 表和 b 表的記錄，然后每次取得一個 c 表的記錄就計算一次 join 結果，類似的還有：

  SELECT a.val, b.val, c.val FROM a

    JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)

這里用了 2 次 map/reduce 任務，第一次快取 a 表，用 b 表序列化；第二次快取第一次 map/reduce 任務的結果，然后用 c 表序列化，

 

4．LEFT，RIGHT 和 FULL OUTER 關鍵字用于處理 join 中空記錄的情況

例如：

  SELECT a.val, b.val FROM

a LEFT OUTER  JOIN b ON (a.key=b.key)

對應所有 a 表中的記錄都有一條記錄輸出，輸出的結果應該是 a.val, b.val，當 a.key=b.key 時，而當 b.key 中找不到等值的 a.key 記錄時也會輸出:

a.val, NULL

所以 a 表中的所有記錄都被保留了；

“a RIGHT OUTER JOIN b”會保留所有 b 表的記錄，

 

Join 發生在 WHERE 子句之前，如果你想限制 join 的輸出，應該在 WHERE 子句中寫過濾條件——或是在 join 子句中寫，這里面一個容易混淆的問題是表磁區的情況：

  SELECT a.val, b.val FROM a

  LEFT OUTER JOIN b ON (a.key=b.key)

  WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'

會 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的記錄，WHERE 從句中可以使用其他列作為過濾條件，但是，如前所述，如果 b 表中找不到對應 a 表的記錄，b 表的所有列都會列出 NULL，包括 ds 列，也就是說，join 會過濾 b 表中不能找到匹配 a 表 join key 的所有記錄，這樣的話，LEFT OUTER 就使得查詢結果與 WHERE 子句無關了，解決的辦法是在 OUTER JOIN 時使用以下語法：

  SELECT a.val, b.val FROM a LEFT OUTER JOIN b

  ON (a.key=b.key AND

      b.ds='2009-07-07' AND

      a.ds='2009-07-07')

這一查詢的結果是預先在 join 階段過濾過的，所以不會存在上述問題，這一邏輯也可以應用于 RIGHT 和 FULL 型別的 join 中，

 

Join 是不能交換位置的，無論是 LEFT 還是 RIGHT join，都是左連接的，

  SELECT a.val1, a.val2, b.val, c.val

  FROM a

  JOIN b ON (a.key = b.key)

  LEFT OUTER JOIN c ON (a.key = c.key)

先 join a 表到 b 表，丟棄掉所有 join key 中不匹配的記錄，然后用這一中間結果和 c 表做 join，這一表述有一個不太明顯的問題，就是當一個 key 在 a 表和 c 表都存在，但是 b 表中不存在的時候：整個記錄在第一次 join，即 a JOIN b 的時候都被丟掉了（包括a.val1，a.val2和a.key），然后我們再和 c 表 join 的時候，如果 c.key 與 a.key 或 b.key 相等，就會得到這樣的結果：NULL, NULL, NULL, c.val

 

  具體實體

1、  獲取已經分配班級的學生姓名，

 

 

 

2、  獲取尚未分配班級的學生姓名，

 

 

 

3、  LEFT  SEMI  JOIN是IN/EXISTS的高效實作，

 

 

 

 

3 Hive Shell引數

3.1 Hive命令列

  語法結構

hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]

說明：

1、  -i 從檔案初始化HQL，

2、  -e從命令列執行指定的HQL

3、  -f 執行HQL腳本

4、  -v 輸出執行的HQL陳述句到控制臺

5、  -p <port> connect to Hive Server on port number

6、  -hiveconf x=y Use this to set hive/hadoop configuration variables.

  具體實體

1、運行一個查詢，

 

 

 

2、運行一個檔案，

 

 

 

3、運行引數檔案，

 

 

 

 

3.2 Hive引數配置方式

Hive引數大全：

https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties

 

開發Hive應用時，不可避免地需要設定Hive的引數，設定Hive的引數可以調優HQL代碼的執行效率，或幫助定位問題，然而實踐中經常遇到的一個問題是，為什么設定的引數沒有起作用？這通常是錯誤的設定方式導致的，

 

對于一般引數，有以下三種設定方式：

l  組態檔

l  命令列引數

l  引數宣告

 

組態檔：Hive的組態檔包括

l  用戶自定義組態檔：$HIVE_CONF_DIR/hive-site.xml

l  默認組態檔：$HIVE_CONF_DIR/hive-default.xml

用戶自定義配置會覆寫默認配置，

另外，Hive也會讀入Hadoop的配置，因為Hive是作為Hadoop的客戶端啟動的，Hive的配置會覆寫Hadoop的配置，

組態檔的設定對本機啟動的所有Hive行程都有效，

 

命令列引數：啟動Hive（客戶端或Server方式）時，可以在命令列添加-hiveconf param=value來設定引數，例如：

bin/hive -hiveconf hive.root.logger=INFO,console

這一設定對本次啟動的Session（對于Server方式啟動，則是所有請求的Sessions）有效，

 

引數宣告：可以在HQL中使用SET關鍵字設定引數，例如：

set mapred.reduce.tasks=100;

這一設定的作用域也是session級的，

 

上述三種設定方式的優先級依次遞增，即引數宣告覆寫命令列引數，命令列引數覆寫組態檔設定，注意某些系統級的引數，例如log4j相關的設定，必須用前兩種方式設定，因為那些引數的讀取在Session建立以前已經完成了，

 

 

 

4. Hive函式

4.1 內置運算子

內容較多，見《Hive官方檔案》

 

4.2 內置函式

內容較多，見《Hive官方檔案》   (比如String 的 length  substring  replace 等)

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

 

測驗各種內置函式的快捷方法：

1、創建一個dual表

create table dual(id string);

2、load一個檔案（一行，一個空格）到dual表

3、select substr('angelababy',2,3) from dual;

 

 

 

4.3 Hive自定義函式和Transform

當Hive提供的內置函式無法滿足你的業務處理需要時，此時就可以考慮使用用戶自定義函式（UDF：user-defined function），

4.3.1 自定義函式類別

UDF  作用于單個資料行，產生一個資料行作為輸出，（數學函式，字串函式）

UDAF（用戶定義聚集函式）：接收多個輸入資料行，并產生一個輸出資料行，（count，max）

 

4.3.2 UDF開發實體

l  簡單UDF示例

1、先開發一個java類，繼承UDF，并多載evaluate方法

package cn.hadoop.bigdata.udf

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

 

public final class Lower extends UDF{

    public Text evaluate(final Text s){

        if(s==null){return null;}

        return new Text(s.toString().toLowerCase());

    }

}

 

2、打成jar包上傳到服務器

3、將jar包添加到hive的classpath

hive>add JAR /home/hadoop/udf.jar;

4、創建臨時函式與開發好的java class關聯

Hive>create temporary function tolowercase as 'cn.hadoop.bigdata.udf.ToProvince';

 

5、即可在hql中使用自定義的函式tolowercase

Select tolowercase(name) fromt_text;

l  Json資料決議UDF開發

 

 

 

 

4.3.3 Transform實作

Hive的 TRANSFORM 關鍵字提供了在SQL中呼叫自寫腳本的功能

適合實作Hive中沒有的功能又不想寫UDF的情況

 

使用示例1：下面這句sql就是借用了weekday_mapper.py對資料進行了處理.

CREATE TABLE u_data_new (

  movieid INT,

  rating INT,

  weekday INT,

  userid INT)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t';

 

add FILE weekday_mapper.py;

 

INSERT OVERWRITE TABLE u_data_new

SELECT

  TRANSFORM (movieid , rate, timestring,uid)

  USING 'python weekday_mapper.py'

  AS (movieid, rating, weekday,userid)

FROM t_rating;

 

其中weekday_mapper.py內容如下

#!/bin/python

import sys

import datetime

 

for line in sys.stdin:

  line = line.strip()

  movieid, rating, unixtime,userid = line.split('\t')

  weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()

  print '\t'.join([movieid, rating, str(weekday),userid])

 

 

 


  1. 查詢語言，由于 SQL 被廣泛的應用在資料倉庫中，因此，專門針對 Hive 的特性設計了類 SQL 的查詢語言 HQL，熟悉 SQL 開發的開發者可以很方便的使用 Hive 進行開發，
  2. 資料存盤位置，Hive 是建立在 Hadoop 之上的，所有 Hive 的資料都是存盤在 HDFS 中的，而資料庫則可以將資料保存在塊設備或者本地檔案系統中，
  3. 資料格式，Hive 中沒有定義專門的資料格式，資料格式可以由用戶指定，用戶定義資料格式需要指定三個屬性：列分隔符（通常為空格、”\t”、”\x001″）、行分隔符（”\n”）以及讀取檔案資料的方法（Hive 中默認有三個檔案格式 TextFile，SequenceFile 以及 RCFile），由于在加載資料的程序中，不需要從用戶資料格式到 Hive 定義的資料格式的轉換，因此，Hive 在加載的程序中不會對資料本身進行任何修改，而只是將資料內容復制或者移動到相應的 HDFS 目錄中，而在資料庫中，不同的資料庫有不同的存盤引擎，定義了自己的資料格式，所有資料都會按照一定的組織存盤，因此，資料庫加載資料的程序會比較耗時，
  4. 資料更新，由于 Hive 是針對資料倉庫應用設計的，而資料倉庫的內容是讀多寫少的，因此，Hive 中不支持對資料的改寫和添加，所有的資料都是在加載的時候中確定好的，而資料庫中的資料通常是需要經常進行修改的，因此可以使用 INSERT INTO ...  VALUES 添加資料，使用 UPDATE ... SET 修改資料，
  5. 索引，之前已經說過，Hive 在加載資料的程序中不會對資料進行任何處理，甚至不會對資料進行掃描，因此也沒有對資料中的某些 Key 建立索引，Hive 要訪問資料中滿足條件的特定值時，需要暴力掃描整個資料，因此訪問延遲較高，由于 MapReduce 的引入， Hive 可以并行訪問資料，因此即使沒有索引，對于大資料量的訪問，Hive 仍然可以體現出優勢，資料庫中，通常會針對一個或者幾個列建立索引，因此對于少量的特定條件的資料的訪問，資料庫可以有很高的效率，較低的延遲，由于資料的訪問延遲較高，決定了 Hive 不適合在線資料查詢，
  6. 執行，Hive 中大多數查詢的執行是通過 Hadoop 提供的 MapReduce 來實作的，而資料庫通常有自己的執行引擎，
  7. 執行延遲，之前提到，Hive 在查詢資料的時候，由于沒有索引，需要掃描整個表，因此延遲較高，另外一個導致 Hive 執行延遲高的因素是 MapReduce 框架，由于 MapReduce 本身具有較高的延遲，因此在利用 MapReduce 執行 Hive 查詢時，也會有較高的延遲，相對的，資料庫的執行延遲較低，當然，這個低是有條件的，即資料規模較小，當資料規模大到超過資料庫的處理能力的時候，Hive 的并行計算顯然能體現出優勢，
  8. 可擴展性，由于 Hive 是建立在 Hadoop 之上的，因此 Hive 的可擴展性是和 Hadoop 的可擴展性是一致的（世界上最大的 Hadoop 集群在 Yahoo!，2009年的規模在 4000 臺節點左右），而資料庫由于 ACID 語意的嚴格限制，擴展行非常有限，目前最先進的并行資料庫 Oracle 在理論上的擴展能力也只有 100 臺左右，
  9. 資料規模，由于 Hive 建立在集群上并可以利用 MapReduce 進行并行計算，因此可以支持很大規模的資料；對應的，資料庫可以支持的資料規模較小，

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/228523.html

標籤：其他

上一篇：SQL中的事務ACID

下一篇：csdn 更改資料顯示頁 ，比之前好么？？

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章，不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》，我也是第一時間得知了這個訊息，然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本： 個人認為這件事也沒什么，還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹：metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包，它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一，它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip：192.168.20.121 靶機ip：192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k，軟體測驗工程師的漲薪史，給我看哭了

    清明節一過，盲猜大家已經無心上班，在數著日子準備過五一，但一想到銀行卡里的余額……瞬間心情就不美麗了。最近，2023年高校畢業生就業調查顯示，本科畢業月平均起薪為5825元。調查一出，便有很多同學表示自己又被平均了。看著這一資料，不免讓人想到前不久中國青年報的一項調查：近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文，所以對學習母語的我們非常不友好 使用網址：https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜，前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜，自動化測驗的需求也越來越高。如今，自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分，它們可以幫助開發人員更快地發現和修復錯誤，提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐：4個DVPP記憶體問題的典型案例解讀

    摘要：由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求（例如，記憶體首地址128位元組對齊），因此需呼叫專用的記憶體申請介面，那么本期就分享幾個關于DVPP記憶體問題的典型案例，并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》，作者：昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊，輔助滲透（埠掃描、登錄密碼爆破、漏洞驗證等） 2、encoders 編碼器模塊，主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手：與相機連接，設定相機引數，采集影像 2) 標定助手：九點標定或是其它的標定，生成標定檔案及內參外參，可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客，先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp)，這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接： https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more

Copyright © 2010-2020 有解無憂