主頁 > 軟體設計 > 程式員必須練就的「性能調優」組合拳【4】

程式員必須練就的「性能調優」組合拳【4】

2020-09-13 03:42:11 軟體設計

性能調優系列前序文章索引:

  • 程式員必須掌握的性能調優:老兵哥結合個人經歷解釋了程式員往架構師方向發展時為什么要跨越性能調優這一關,以及介紹了從 X、Y、Z 三個維度優化性能的思路,
  • 從  X  維度優化系統的性能:老兵哥分享了從 X 維度優化系統性能的思路,包括讓客戶端分計算存盤任務、優化互動設計等,主要是作為引子拓寬我們性能調優的思路,
  • 應用容器 Tomcat 性能調優:老兵哥介紹了從 Y 維度通過優化應用容器 Tomcat 來優化系統性能的方法,
  • 開發框架 Spring 性能調優:老兵哥介紹了從 Y 維度通過優化開發框架 Spring 來優化系統性能的方法,

今天老兵哥將介紹通過優化物件關系映射 ORM 框架(Hibernate)等來優化系統性能的方法,

4. ORM 框架 Hibernate

物件-關系映射 ORM(Object/Relation Mapping),是伴隨著面向物件軟體開發方法的發展而產生的,面向物件的開發方法是當今企業級應用開發環境中的主流方法,關系資料庫是企業級應用環境中資料永久存盤的主流資料存盤系統,物件和關系是業務物體資料的兩種表現形式,業務物體在記憶體中表現為物件,在資料庫中表現為關系資料,記憶體中的物件之間存在關聯和繼承關系,而在資料庫中,關系資料無法直接表達多對多關聯和繼承關系,

物件-關系映射 ORM 系統通常以中間件的形式存在,借助描述物件到關系資料庫資料的映射元資料,將記憶體中的物件自動持久化到關系資料庫中,其本質就是將資料從一種形式轉換到另外一種形式,這個轉換程序需要額外的開銷,自然也就存在許多優化的機會,接下來我們一起來看看如何提升 ORM 框架 Hibernate 的性能, 

4.1 批量處理

應用或者 ORM 框架每次執行 SQL 陳述句都需要跟資料庫建立連接,每次建立連接都需要額外開銷,如果某個事務內部有回圈多次操作資料庫的場景,那么將這些操作匯集在一起批量執行,這樣就可以降低損耗,具體如下:

  • 批量插入

使用這種方法時,首先在 Hibernate 的組態檔 hibernate.cfg.xml 中設定批量尺寸屬性 hibernate.jdbc.batch_size ,且最好關閉Hibernate的二級快取以提高效率,

<hibernate-configuration>
<session-factory>
<property name="hibernate.jdbc.batch_size">50</property> //設定尺寸
<property name="hibernate.cache.use_second_level_cache">false</property> //關閉快取
<mapping resource="com/itlaobingge/po/User.hbm.xml" /> 
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
for (int i = 0; i < 50; i++) {
User user = new User();
user.setPassword(i);
session.save(user);
if (i%50 == 0) {
// 以 50 為一個批次往資料庫提交,此值應與配置的批量尺寸一致
session.flush();
// 清空快取區,釋放記憶體供下批資料使用
session.clear(); 
}
}

ts.commit();
HibernateSessionFactory.closeSession();
}
} 
  • 批量更新

為了使 Hibernate 的 HQL 直接支持 update 的批量更新語法,我們需要在 Hibernate 的組態檔 hibernate.cfg.xml 中設定 HQL/SQL 查詢翻譯器屬性 "hibernate.query.factory_class":

<hibernate-configuration>
......
<property name="hibernate.query.factory_class">
org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
</property>
<mapping resource="com/itlaobingge/po/User.hbm.xml" />
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
Query query = session.createQuery("update User set password='123456'");
query.executeUpdate();
ts.commit();
HibernateSessionFactory.closeSession();
}
}

 

  • 批量洗掉

為了使 Hibernate 的 HQL 直接支持 delete 的批量更新語法,我們需要在 Hibernate 的組態檔 hibernate.cfg.xml 中設定 HQL/SQL 查詢翻譯器屬性 "hibernate.query.factory_class":

<hibernate-configuration>
......
<property name="hibernate.query.factory_class">
org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
</property>
<mapping resource="com/itlaobingge/po/User.hbm.xml" />
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
Query query=session.createQuery("delete User where id < 123");
query.executeUpdate();
ts.commit();
HibernateSessionFactory.closeSession();
}
}

  

4.2 抓取策略

抓取策略是指當應用程式需要在物件關聯關系間進行導航時,Hibernate 如何獲取關聯物件的策略,常見的抓取策略有如下幾種:

  • 鏈接抓取(Join Fetching):通過在 select 陳述句中使用 out join 來獲取物件的關聯實體或者關聯集合,
  • 查詢抓取(Select Fetching):發送另外一條 select 陳述句抓取當前物件的關聯物體或者關聯集合,除非我們顯示地指定 lazy=”false” 禁止延遲抓取,否則只有當我們真正訪問了關聯關系時才會執行第二條 select 陳述句,
  • 子查詢抓取:另外發送一條 select 陳述句抓取在前面查詢到或抓取到的所有物體物件的關聯集合,除非你顯式的指定 lazy="false" 禁止延遲抓取,否則只有當你真正訪問關聯關系的時候,才會執行第二條 select 陳述句,
  • 批量抓取(Batch fetching):對查詢抓取的優化方案,通過指定一個主鍵或外鍵串列,Hibernate 使用單條 select 陳述句獲取一批物件實體或集合,

Hibernate 會區分下列幾種情況:

  • 立即抓取(Immediate fetching):當宿主被加載時,關聯、集合或屬性被立即抓取,
  • 延遲集合抓取(Lazy collectionfetching):直到應用程式對集合進行了一次操作時,集合才被抓取,
  • Extra-lazy 集合抓取(Extra-lazy collection fetching):對集合類中的每個元素而言,都是直到需要時才去訪問資料庫,除非絕對必要,Hibernate 不會試圖去把整個集合都抓取到記憶體里來,
  • 代理抓取(Proxy fetching):對回傳單值的關聯而言,當其某個方法被呼叫,而非對其關鍵字進行 get 操作時才抓取,
  • 非代理抓取(No-proxy fetching):對回傳單值的關聯而言,當實體變數被訪問的時候進行抓取,與上面的代理抓取相比,這種方法沒有那么延遲得厲害,就算只訪問識別符號,也會導致關聯抓取,但是更加透明,因為對應用程式來說,不再看到 proxy,這種方法需要在編譯期間進行位元組碼增強操作,因此很少需要用到,
  • 屬性延遲加載(Lazy-attribute fetching):對屬性或回傳單值的關聯而言,當其實體變數被訪問的時候進行抓取,需要編譯期位元組碼強化,因此這一方法很少是必要的,

定制合理的抓取策略對系統的性能提升有很大的幫助,查詢抓取在 N+1 查詢的情況下是極其脆弱的,因此我們可能會要求在映射檔案中定義連接抓取(fetch=”join”),但是在映射檔案中定義的抓取策略將會產生以下影響:通過 get() 或者 load() 方法獲取資料,只有在關聯之間進行導航時,才會隱式的取得資料,

條件查詢,使用了 subselect 抓取的 HQL 查詢,不管使用哪種抓取策略,定義為非延時的類圖會保證裝載入記憶體,這就意味著一條 HQL 查詢后緊跟著一系列的查詢,通常我們并不使用映射檔案進行抓取策略的定制,更多是保持其默認值然后在待定事務中適用 HQL 的左連接對其進行多載,

Hibernate 推薦的做法也是最佳實踐:把所有物件關聯的抓取都設為 lazy,然后在特定事務中進行多載,這種考慮是基于物件之間的關聯關系錯綜復雜,有時候哪怕我們只是一個簡單的查詢,也會導致很多關聯物件被裝載出來,所以在 Hibernate 中,所有物件關聯都是 lazy 的,

在 Hibernate 中實施關聯抓取,我們可以定義每次抓取資料的數量,批量地將資料載入記憶體,減少與資料庫互動的次數,在應用程式中可以定義默認的關聯抓取數量,Hibernate 提供了兩種批量抓取方案:

  • 類級別的批量查詢,如果一個 Session 中需要載入 30 個 User 實體,在 User 中擁有一個類 Class 成員變數 class,如果 lazy=“true”,我們需要遍歷整個 user 集合,每一個 user 都需要 getClass(),在默認情況下要執行 30 次查詢得到 Class 物件,因此,可以通過在映射檔案的 Class 屬性設定 batch-size,這樣Hibernate 只需要執行兩次查詢即可:
<class name=”Class” batch-size=”15”>...</class>

  

  • 集合級別的批量查詢,如果我們需要遍歷 30 個 Class 物件下所擁有 User 物件串列,在 Session 中需要載入 30 個 Class 物件,遍歷 Class 集合將會引起 30 次查詢,每次查詢都會呼叫 getUsers(),如果在 Class 的映射定義中,允許對 User 進行批量抓取,則 Hibernate 就會預先加載整個集合,
<set name=”users” batch-size=”15”>...</set> 

 

4.3 二級快取

快取可以降低應用程式對物理資料源訪問的頻次,從而提高應用程式的運行性能,快取對 Hibernate 來說也是很重要的,它使用了如下圖所示的多級快取方案:

  • 一級快取,第一級快取是 Session 快取,屬于強制性快取,所有請求都必須通過它,Session 物件在它自己的權利之下,在將它提交給資料庫之前保存一個物件,如果你對一個物件發出多個更新,Hibernate 會嘗試盡可能長地延遲更新來減少發出的 SQL 更新陳述句的數目,如果你關閉 Session,所有快取的物件丟失,或是存留,或是在資料庫中被更新,
  • 二級快取,第二級快取是可選擇的,第一級快取在任何想要在第二級快取中找到一個物件前被詢問,第二級快取可以在每一個類和每一個集合的基礎上被安裝,并且它主要負責跨會話快取物件,任何第三方快取都可以和 Hibernate 合作,只要它實作 org.hibernate.cache.CacheProvider 介面,

Hibernate 的二級快取通過兩個步驟設定:

  • 第一,你必須決定好使用哪個并發策略(Transactional、Read-write、Nonstrict-read-write、Read-only);
  • 第二,你使用第三方快取提供者來配置快取到期時間和物理快取屬性,并發策略,負責保存快取中的資料項和從快取中檢索它們,如何選擇并發策略及配置可以查資料,

4.4 查詢快取

查詢結果集也可以被快取,只有在經常使用同樣的引數進行查詢時,查詢快取才會有些用處,如果要使用查詢快取,你必須打開它:hibernate.cache.use_query_cache,該設定將會創建兩個快取區域:一個用于保存查詢結果集(org.hibernate.cache.StandardQueryCache);另一個則用于保存最近查詢的一系串列的時間戳(org.hibernate.cache.UpdateTimestampsCache),

在查詢快取中,它并不快取結果集中所包含的物體的確切狀態,它只快取這些物體的識別符號屬性的值、以及各值型別的結果,所以查詢快取通常會和二級快取一起使用,絕大多數的查詢并不能從查詢快取中受益,所以 Hibernate 默認是不進行查詢快取的,如若需要進行快取,請呼叫 Query.setCacheable(true) 方法,這個呼叫會讓查詢在執行程序中時先從快取中查找結果,并將自己的結果集放到快取中去,

 

 

關注「 IT老兵哥 」,賦能程式人生!堅持原創不易,請小伙伴們不吝點個「  」哦!推薦軟技能文章,請點擊鏈接:程式員,怎樣打造個人影響力?

 

 

近期熱評系列《 程式員必須懂的架構師入門課 》:

  • 架構到底是什么,你知道嗎? (閱讀人數:1218)
  • 架構都有哪些,我該怎么選? (閱讀人數:891)
  • 架構師都干什么,你知道嗎? (閱讀人數:1192)
  • 練就哪些技能才勝任架構師? (閱讀人數:1157)
  • 怎樣才能搞定上下游的客戶? (閱讀人數:495)
  • 如何從開發崗轉型做架構師? (閱讀人數:1309)
  • 程式員必須懂的架構入門課    (閱讀人數:611)

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/19551.html

標籤:架構設計

上一篇:StarUML之一、UML的相關基本概念

下一篇:StarUML之二、StarUML初識

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more