主頁 > 軟體設計 > 面試阿里被質問:ConcurrentHashMap執行緒安全嗎

面試阿里被質問:ConcurrentHashMap執行緒安全嗎

2021-01-31 06:42:53 軟體設計

沒啥深入實踐的理論系同學,在使用并發工具時,總是認為把HashMap改為ConcurrentHashMap,就完美解決并發了呀,或者使用寫時復制的CopyOnWriteArrayList,性能更佳呀!技術言論雖然自由,但面對魔鬼面試官時,我們更在乎的是這些真的正確嗎?2021Java面試寶典

1 執行緒重用導致用戶資訊錯亂

生產環境中,有時獲取到的用戶資訊是別人的,查看代碼后,發現是使用了ThreadLocal快取獲取到的用戶資訊,

ThreadLocal適用于變數在執行緒間隔離,而在方法或類間共享的場景,
若用戶資訊的獲取比較昂貴(比如從DB查詢),則在ThreadLocal中快取比較合適,
問題來了,為什么有時會出現用戶資訊錯亂?

1.1 案例

使用ThreadLocal存放一個Integer值,代表需要在執行緒中保存的用戶資訊,初始null,
先從ThreadLocal獲取一次值,然后把外部傳入的引數設定到ThreadLocal中,模擬從當前背景關系獲取用戶資訊,隨后再獲取一次值,最后輸出兩次獲得的值和執行緒名稱,
圖片?
固定思維認為,在設定用戶資訊前第一次獲取的值始終是null,但要清楚程式運行在Tomcat,執行程式的執行緒是Tomcat的作業執行緒,其基于執行緒池,
而執行緒池會重用固定執行緒,一旦執行緒重用,那么很可能首次從ThreadLocal獲取的值是之前其他用戶的請求遺留的值,這時,ThreadLocal中的用戶資訊就是其他用戶的資訊,

1.2 bug 重現

在組態檔設定Tomcat引數-作業執行緒池最大執行緒數設為1,這樣始終是同一執行緒在處理請求:

server.tomcat.max-threads=1

先讓用戶1請求介面,第一、第二次獲取到用戶ID分別是null和1,符合預期
圖片?

用戶2請求介面,bug復現!第一、第二次獲取到用戶ID分別是1和2,顯然第一次獲取到了用戶1的資訊,因為Tomcat執行緒池重用了執行緒,兩次請求執行緒都是同一執行緒:http-nio-45678-exec-1
圖片?

寫業務代碼時,首先要理解代碼會跑在什么執行緒上:

  • Tomcat服務器下跑的業務代碼,本就運行在一個多執行緒環境(否則介面也不可能支持這么高的并發),并不能認為沒有顯式開啟多執行緒就不會有執行緒安全問題

  • 執行緒創建較昂貴,所以Web服務器會使用執行緒池處理請求,執行緒會被重用,使用類似ThreadLocal工具存放資料時,需注意在代碼運行完后,顯式清空設定的資料,

1.3 解決方案

在finally代碼塊顯式清除ThreadLocal中資料,即使新請求過來,使用了之前的執行緒,也不會獲取到錯誤的用戶資訊,
修正后代碼:
圖片?

ThreadLocal利用獨占資源的解決執行緒安全問題,若就是要資源在執行緒間共享怎么辦?就需要用到執行緒安全的容器,
使用了執行緒安全的并發工具,并不代表解決了所有執行緒安全問題,

1.4 ThreadLocalRandom 可將其實體設定到靜態變數,在多執行緒下重用嗎?

current()的時候初始化一個初始化種子到執行緒,每次nextseed再使用之前的種子生成新的種子:

UNSAFE.putLong(t = Thread.currentThread(), SEED,
r = UNSAFE.getLong(t, SEED) + GAMMA);

如果你通過主執行緒呼叫一次current生成一個ThreadLocalRandom實體保存,那么其它執行緒來獲取種子的時候必然取不到初始種子,必須是每一個執行緒自己用的時候初始化一個種子到執行緒,
可以在nextSeed設定一個斷點看看:

UNSAFE.getLong(Thread.currentThread(),SEED);

2 ConcurrentHashMap真的安全嗎?

我們都知道ConcurrentHashMap是個執行緒安全的哈希表容器,但它僅保證提供的原子性讀寫操作執行緒安全,

2.1 案例

有個含900個元素的Map,現在再補充100個元素進去,這個補充操作由10個執行緒并發進行,

開發人員誤以為使用ConcurrentHashMap就不會有執行緒安全問題,于是不加思索地寫出了下面的代碼:在每一個執行緒的代碼邏輯中先通過size方法拿到當前元素數量,計算ConcurrentHashMap目前還需要補充多少元素,并在日志中輸出了這個值,然后通過putAll方法把缺少的元素添加進去,

為方便觀察問題,我們輸出了這個Map一開始和最后的元素個數,
圖片?

訪問介面
圖片?

分析日志輸出可得:

  • 初始大小900符合預期,還需填充100個元素

  • worker13執行緒查詢到當前需要填充的元素為49,還不是100的倍數

  • 最后HashMap的總專案數是1549,也不符合填充滿1000的預期

2.2 bug 分析

ConcurrentHashMap就像是一個大籃子,現在這個籃子里有900個桔子,我們期望把這個籃子裝滿1000個桔子,也就是再裝100個桔子,有10個工人來干這件事兒,大家先后到崗后會計算還需要補多少個桔子進去,最后把桔子裝入籃子,

ConcurrentHashMap這籃子本身,可以確保多個工人在裝東西進去時,不會相互影響干擾,但無法確保工人A看到還需要裝100個桔子但是還未裝時,工人B就看不到籃子中的桔子數量,你往這個籃子裝100個桔子的操作不是原子性的,在別人看來可能會有一個瞬間籃子里有964個桔子,還需要補36個桔子,

ConcurrentHashMap對外提供能力的限制:

  • 使用不代表對其的多個操作之間的狀態一致,是沒有其他執行緒在操作它的,如果需要確保需要手動加鎖

  • 諸如size、isEmpty和containsValue等聚合方法,在并發下可能會反映ConcurrentHashMap的中間狀態,因此在并發情況下,這些方法的回傳值只能用作參考,而不能用于流程控制,顯然,利用size方法計算差異值,是一個流程控制

  • 諸如putAll這樣的聚合方法也不能確保原子性,在putAll的程序中去獲取資料可能會獲取到部分資料

2.3 解決方案

整段邏輯加鎖:
圖片?

只有一個執行緒查詢到需補100個元素,其他9個執行緒查詢到無需補,最后Map大小1000

圖片?

既然使用ConcurrentHashMap還要全程加鎖,還不如使用HashMap呢?
不完全是這樣,

ConcurrentHashMap提供了一些原子性的簡單復合邏輯方法,用好這些方法就可以發揮其威力,這就引申出代碼中常見的另一個問題:在使用一些類別庫提供的高級工具類時,開發人員可能還是按照舊的方式去使用這些新類,因為沒有使用其真實特性,所以無法發揮其威力,

3 知己知彼,百戰百勝

3.1 案例

使用Map來統計Key出現次數的場景,

  • 使用ConcurrentHashMap來統計,Key的范圍是10

  • 使用最多10個并發,回圈操作1000萬次,每次操作累加隨機的Key

  • 如果Key不存在的話,首次設定值為1,

show me code:
圖片?

有了上節經驗,我們這直接鎖住Map,再做

  • 判斷

  • 讀取現在的累計值

  • +1

  • 保存累加后值

這段代碼在功能上的確毫無沒有問題,但卻無法充分發揮ConcurrentHashMap的性能,優化后:
圖片?

ConcurrentHashMap的原子性方法computeIfAbsent做復合邏輯操作,判斷K是否存在V,若不存在,則把Lambda運行后結果存入Map作為V,即新創建一個LongAdder物件,最后回傳V

因為computeIfAbsent回傳的V是LongAdder,是個執行緒安全的累加器,可直接呼叫其increment累加,

這樣在確保執行緒安全的情況下達到極致性能,且代碼行數驟減,

3.2 性能測驗

使用StopWatch測驗兩段代碼的性能,最后的斷言判斷Map中元素的個數及所有V的和是否符合預期來校驗代碼正確性
圖片?

性能測驗結果:

圖片?

比使用鎖性能提升至少5倍,

3.3 computeIfAbsent高性能之道

Java的Unsafe實作的CAS,
它在JVM層確保寫入資料的原子性,比加鎖效率高:

static final <K,V> boolean casTabAt(Node<K,V>[] tab, int i,
                                    Node<K,V> c, Node<K,V> v) {
    return U.compareAndSetObject(tab, ((long)i << ASHIFT) + ABASE, c, v);
}

所以不要以為只要用了ConcurrentHashMap并發工具就是高性能的高并發程式,

辨明 computeIfAbsent、putIfAbsent

  • 當Key存在的時候,如果Value獲取比較昂貴的話,putIfAbsent就白白浪費時間在獲取這個昂貴的Value上(這個點特別注意)

  • Key不存在的時候,putIfAbsent回傳null,小心空指標,而computeIfAbsent回傳計算后的值

  • 當Key不存在的時候,putIfAbsent允許put null進去,而computeIfAbsent不能,之后進行containsKey查詢是有區別的(當然了,此條針對HashMap,ConcurrentHashMap不允許put null value進去)

3.4 CopyOnWriteArrayList 之殤

再比如一段簡單的非 DB操作的業務邏輯,時間消耗卻超出預期時間,在修改資料時操作本地快取比回寫DB慢許多,原來是有人使用了CopyOnWriteArrayList快取大量資料,而該業務場景下資料變化又很頻繁,

CopyOnWriteArrayList雖然是一個執行緒安全版的ArrayList,但其每次修改資料時都會復制一份資料出來,所以只適用讀多寫少或無鎖讀場景,

所以一旦使用CopyOnWriteArrayList,一定是因為場景適宜而非炫技,

CopyOnWriteArrayList V.S 普通加鎖ArrayList讀寫性能

測驗并發寫性能

圖片?

測驗結果:高并發寫,CopyOnWriteArray比同步ArrayList慢百倍

圖片?

測驗并發讀性能

圖片?

測驗結果:高并發讀(100萬次get操作),CopyOnWriteArray比同步ArrayList快24倍

圖片?

高并發寫時,CopyOnWriteArrayList為何這么慢呢?因為其每次add時,都用Arrays.copyOf創建新陣列,頻繁add時記憶體申請釋放性能消耗大,

4 總結

4.1 Don't !!!

  • 不要只會用并發工具,而不熟悉執行緒原理

  • 不要覺得用了并發工具,就怎么都執行緒安全

  • 不熟悉并發工具的優化本質,就難以發揮其真正性能

  • 不要不結合當前業務場景,就隨意選用并發工具,可能導致系統性能更差

  • 2021Java面試寶典

4.2 Do !!!

  • 認真閱讀官方檔案,理解并發工具適用場景及其各API的用法,并自行測驗驗證,最后再使用

  • 并發bug本就不易復現, 多自行進行性能壓力測驗

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/254744.html

標籤:其他

上一篇:面試阿里被質問:ConcurrentHashMap執行緒安全嗎

下一篇:資料結構--排序1

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more