主頁 > 資料庫 > Hive常見時間日期函式的使用與問題整理

Hive常見時間日期函式的使用與問題整理

2023-06-15 08:39:20 資料庫

這里整理一下Hive常見的時間函式和日期函式和用法,作為平時資料處理程序的一個檢索和記錄,

平時在資料處理程序中,如果不經常使用時間函式,一時間遇到一些時間上的處理,難免會想不起來,

hive本身提供的時間函式已經很豐富了,基本上能滿足我們所有的需求,一些特殊需求也可以通過增加一些數學邏輯實作出來,

接下來看一下類別的日期和時間函式的使用方式,

1.時間戳和日期相互轉換函式

具體執行結果在后面備注標注出來,主要為時間戳轉換為日期函式,和將日期轉換為時間戳函式

-- 1.時間戳轉化為日期函式
-- from_unixtime(bigint unixtime[, string format]) 其中第一個引數必須為bigint型別
select from_unixtime(1661084482)		-- 2022-08-21 20:21:22  
select from_unixtime(1661084482, 'yyyy-MM-dd')  -- 2022-08-21  
select from_unixtime(1661084482, 'yyyyMMdd') 	-- 20220821
select from_unixtime(1661084482,'yyyy-MM-dd HH:mm:ss')		-- 2022-08-21 20:21:22  

-- 2.將日期轉換為時間戳
select unix_timestamp('2022-08-21 20:21:22')		-- 1661084482  
select unix_timestamp('20220821','yyyyMMdd')	-- 1661011200
select unix_timestamp('2022-08-21', 'yyyy-MM-dd')	-- 1661011200

2.獲取當前天的相關函式

獲取當天時間的三種方式,注意格式,其中current_timestamp回傳的時間為UTC時間,

-- 回傳當天三種方式,格式有一定的不同
select current_date 	-- 2023-06-14
select current_timestamp 	-- 回傳時分秒 2023-06-14 07:56:14.28
select from_unixtime(unix_timestamp()) 		-- 2023-06-14 15:56:14

3.日期格式化函式

日期格式化函式,需要什么格式,后面寫什么格式的日期字串描述,to_date僅有一種格式回傳結果

-- 需要什么格式,后面寫什么格式的日期字串描述
select date_format('2022-08-21 20:21:22', 'yyyy-MM-dd')	-- 2022-08-21  
select date_format('2022-08-21 20:21:22', 'yyyyMMdd')		-- 20220821
select date_format('2022-08-21', 'yyyy-MM-dd HH:mm:ss') -- 2022-08-21 00:00:00

-- 獲取時間日期的日期部分
select to_date('2022-08-21 20:21:22')		-- 2022-08-21

4.獲取年、月、日、天、小時、分鐘、秒、周數、星期幾、季節函式

hive提供了靈活獲取年、月、日、天、小時、分鐘、秒、周數、星期幾、季節的函式,最后面還提供了一個通過數學函式轉換獲取季度的邏輯,可以看出其實部分函式如果版本不支持,我們可以通過其他方式曲線獲取,當然,不提倡,可讀性差,

-- 獲取年
select year('2022-08-21 20:21:22')		-- 2022
-- 獲取月
select month('2022-08-21 20:21:22')		-- 8
-- 獲取當前天
select day('2022-08-21 20:21:22')			-- 21
-- 每月第幾天,同day()
select dayofmonth('2022-08-21 20:21:22')		-- 21
-- 獲取當前小時
select hour('2022-08-21 20:21:22')			-- 20
-- 獲取當前分鐘
select minute('2022-08-21 20:21:22')		-- 21
-- 獲取當前秒
select second('2022-08-21 20:21:22') 		-- 22
-- 活躍當前日期是本年第幾周
select weekofyear('2022-08-21 20:21:22')		-- 31
-- 獲取當前天是本周第幾天,計算日歷是從星期天為本周第一天開始計算,如果想要計算星期1為第一天,可以在當前天加1天再去計算,
select dayofweek('2022-08-21 20:21:22')		-- 1
-- 獲取當前日期是第幾季度
select quarter('2022-08-21 20:21:22')		-- 3

-- 如果有hive因版本不支持部分函式,可以通過數學轉換計算,例如當前是第幾季度,
select ceil(month('2022-08-21 20:21:22')/3)	-- 季節 3 數學轉換

5.日期和月份的加減相關函式

獲取日期和月份的加減操作,靈活處理日期和月份增加減少,日期月份之間互相求差值,

-- 日期增加日
select date_add('2022-08-21',10) -- 增加日	2022-08-31
-- 日期減少日
select date_sub('2022-08-21',10) -- 減少日	 2022-08-11
-- 月增加
select add_months('2022-08-21',2) -- 增加月 	2022-10-21
-- 月減少
select add_months('2022-08-21',-1) -- 減少月	2022-07-21

-- 兩個日期相減函式
select datediff('2022-08-23', '2022-08-21')	-- 2
-- 兩個月份相減
select months_between('2022-08-21', '2022-07-25')	-- 0.871

6.獲取一些指定特殊日期的函式

主要是獲取指定日期的月初(月末)、年初(年末)日期和獲取指定日期的下個星期幾的日期

-- 獲取指定日期的月初(月末)、年初(年末)日期
select last_day('2023-06-13')  -- 月末	2023-06-30
select trunc('2023-06-13', 'MM')  -- 月初	2023-06-01
select trunc('2023-06-13', 'YY')  -- 年初	2023-01-01
select date_sub(add_months(trunc('2023-06-13', 'YY'),12),1) -- 年末	2023-12-31

-- 獲取指定日期的下個星期幾的日期
select next_day('2023-06-13', 'MO')    -- 2023-06-19
select next_day('2023-06-13', 'TU')    -- 2023-06-20
select next_day('2023-06-13', 'WE')    -- 2023-06-14
select next_day('2023-06-13', 'TH')    -- 2023-06-15
select next_day('2023-06-13', 'FR')    -- 2023-06-16
select next_day('2023-06-13', 'SA')    -- 2023-06-17
select next_day('2023-06-13', 'SU')    -- 2023-06-18

7.時區轉換函式操作

時區轉換函式有很多需要注意的點,其也可以聯合使用,簡單說一下時區,UTC是世界標準時間,

東一區 GMT+1,東八區GMT+8以此類推,西一區GMT-1,西七區GMT-7以此類推,

時間戳沒有時區屬性,同一時刻時間戳一致,

-- 將utc時間轉換為東八區時間,輸入為utc時間字串,結果為東八區時間字串
select from_utc_timestamp('2023-06-14 15:56:14','GMT+8')		-- 2023-06-14 23:56:14

-- 將utc時間戳轉換為東八區時間,輸入為utc時間戳,結果為東八區時間字串,時間戳沒有時區屬性,同一時刻時間戳一致
select from_utc_timestamp(cast(1686729374000 as bigint),'GMT+8')		-- 2023-06-14 15:56:14
-- 將指定時區時間轉換成utc時間
select to_utc_timestamp('2023-06-14 15:56:14','GMT+8')		-- 2023-06-14 07:56:14
-- 將指定時區時間的時間戳轉換成utc時間(這種使用方式不常見,是錯誤的,只是在某些時刻進行資料轉換用,不建議使用)
select to_utc_timestamp(cast(1686729374000 as bigint),'GMT+8')	-- 2023-06-13 23:56:14
-- 正確的轉換時間戳為utc時間的方式
select to_utc_timestamp(cast(1686729374000 as bigint),'UTC')

以上內容為日期時間函式的常見使用方法及注意事項,有需要可以收藏,

一些函式可以搭配使用,滿足生產環境中的時間需求,

下一期:HiveSQL在使用聚合類函式的時候性能分析和解讀

按例,歡迎點擊此處關注我的個人公眾號,交流更多知識,

后臺回復關鍵字 hive,隨機贈送一本魯邊備注版珍藏大資料書籍,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/555223.html

標籤:大數據

上一篇:HStore表全了解:實時入庫與高效查詢利器

下一篇:返回列表

標籤雲
其他(161022) Python(38230) JavaScript(25496) Java(18240) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7251) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4593) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2435) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) 功能(1967) HtmlCss(1966) Web開發(1951) C++(1940) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • Hive常見時間日期函式的使用與問題整理

    hive本身提供的時間函式已經很豐富了,基本上能滿足我們所有的需求,一些特殊需求也可以通過增加一些數學邏輯實作出來。 ......

    uj5u.com 2023-06-15 08:39:20 more
  • HStore表全了解:實時入庫與高效查詢利器

    摘要:本文章將從使用者角度介紹HStore概念以及使用。 本文分享自華為云社區《GaussDB(DWS)HStore表講解》,作者:大威天龍:- 。 HStore表簡介 面對實時入庫和實時查詢要求越來越高的趨勢,已有的列存盤無法支持并發更新入庫,行存查詢性能無法做到實時回傳且空間壓縮表現不佳。Gau ......

    uj5u.com 2023-06-15 08:39:09 more
  • 大檔案上傳功能在標簽服務的簡單應用和代碼實作

    各位看官大家好,今天給大家分享的又是一篇實戰文章,希望大家能夠喜歡。 目前「[袋鼠云客戶資料洞察平臺](https://www.dtstack.com/easydigit/userinsight?src=https://www.cnblogs.com/DTinsight/p/szsm)」標簽服務的群組按種類劃分,可以分為三大類,分別是實時群組、[動態群組](https: ......

    uj5u.com 2023-06-15 08:38:32 more
  • 如何成功實施一個資料治理專案?實施步驟有哪些?

    企業數字化轉型以資料為中心,通過資料驅動業務發展、管理協同和運營。因此,數字化轉型關鍵在于資料,[資料治理](https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/p/szsm)則需先行。從而更好激發資料生產要素潛能,實作業務資料化、資料價值化,助力企業數字化轉型。 ## ......

    uj5u.com 2023-06-15 08:38:04 more
  • 向量資料庫是如何作業的?

    向量資料庫和 Embedding 是當前 AI 領域的熱門話題。



    Pinecone 是一家向量資料庫公司,剛剛以約 10 億美元的估值籌集了 1 億美元。



    Shopify、Brex、Hubspot 等公司都在他們的 AI 應用程式中使用向量資料庫和 Embedding。那么,它們究竟是什... ......

    uj5u.com 2023-06-14 10:16:03 more
  • Hbase中的region和rowkey

    # region Region是HBase資料管理的基本單位,region有一點像關系型資料的磁區。 Region中存盤這用戶的真實資料,而為了管理這些資料,HBase使用了RegionSever來管理region。 ## region的分配 一個表中可以包含一個或多個Region。 每個Regio ......

    uj5u.com 2023-06-14 10:15:41 more
  • MySql的MVCC機制

    事務隔離級別遺留問題: 在讀已提交的級別下,事務B可以讀到事務A持有寫鎖的的記錄,且讀到的是未更新前的,為何寫讀沒有沖突? 可重復讀級別,事務B可以更新事務A理論上應該已經獲取讀鎖的記錄,且更新后,事務A依然可以讀到資料,為何讀-寫-讀沒有沖突? 在可重復讀級別,幻讀沒有產生 其中,前兩個問題就是因 ......

    uj5u.com 2023-06-14 10:15:24 more
  • 如何成功實施一個資料治理專案?實施步驟有哪些?

    企業數字化轉型以資料為中心,通過資料驅動業務發展、管理協同和運營。因此,數字化轉型關鍵在于資料,資料治理則需先行。從而更好激發資料生產要素潛能,實作業務資料化、資料價值化,助力企業數字化轉型。 ## 那么何為資料治理? 國際資料管理協會(DAMA)在其《DAMA資料管理知識體系指南(第2版)》一書中 ......

    uj5u.com 2023-06-14 10:15:06 more
  • 資料庫復習——資料庫模式設計

    # 資料庫模式設計如果不好會導致的問題: 1.冗余 2.導致資料一致性出現問題 3.插入例外 4.更新例外 5.洗掉例外 # 函式依賴 函式依賴是指一個或多個屬性的取值可以確定另一個屬性的取值。具體地說,如果一個關系模式R中屬性集合X的取值能唯一地確定屬性集合Y的取值,那么我們稱屬性集合Y對于屬性集 ......

    uj5u.com 2023-06-14 10:14:56 more
  • Hive執行計劃之只有map階段SQL性能分析和解讀

    這種只含map的操作,如果檔案大小控制在合適的情況下,都將只有本地操作,其執行非常高效,運行效率完全不輸于在計算引擎Tez和Spark上運行。 ......

    uj5u.com 2023-06-14 10:14:51 more