JVM 常見線上問題 → CPU 100%、記憶體泄露 問題排查

開心一刻

明明是個小 bug，但就是死活修不好，我特么心態崩了......

前言

　　后文會從 Windows、Linux 兩個系統來做示例展示，有人會有疑問了：為什么要說 Windows 版的 ？ 目前市面上還是有很多 Windows 服務器的，應用于傳統行業、政府結構、醫療行業 等等；兩個系統下的情況都演示下，有備無患

　　后文中用到了兩個工具：Processor Explorer、MAT，它們是什么，有什么用，怎么用，本文不做介紹，不知道的小伙伴最好先去做下功課

cpu 100%

　　下面的示例中， cpu 的占有率沒到 100%，只是比較高，但是排查方式是一樣的，希望大家不要鉆牛角尖

　　Windows

　　　　1、找到 cpu 占有率最高的 java 行程號

　　　　　　PID： 20260 

　　　　2、根據行程號找到 cpu 占有率最高的執行緒號

　　　　　　雙擊剛剛找到的 java 行程

　　　　　　執行緒號： 15900 ，轉成十六進制： 3e1c 

　　　　3、利用 jstack 生成虛擬機中所有執行緒的快照

　　　　　　命令： jstack -l {pid} > {path} 

　　　　　　檔案路徑： D:\20260.stack 

　　　　4、執行緒快照分析

　　　　　　我們先瀏覽下快照內容

　　　　　　內容還算比較簡潔，執行緒快照格式都是統一的，我們以一個執行緒快照簡單說明下

　　　　　　 "main" #1 prio=5 os_prio=0 tid=0x0000000002792800 nid=0x3e1c runnable [0x00000000025cf000] 

　　　　　　我們前面找到占 cpu 最高的執行緒號： 15900 ，十六進制： 3e1c ，用 3e1c  去快照檔案里面搜一下

　　　　　　自此，找到問題

　　Linux

　　　　排查方式與 Windows 版一樣，只是命令有些區別

　　　　1、找到 cpu 占有率最高的 java 行程號

　　　　　　使用命令： top -c 顯示運行中的行程串列資訊， shift + p 使串列按 cpu 使用率排序顯示

　　　　　　 PID = 2227 的行程，cpu 使用率最高

　　　　2、根據行程號找到 cpu 占有率最高的執行緒號

　　　　　　使用命令： top -Hp {pid} ，同樣 shift + p 可按 cpu 使用率對執行緒串列進行排序

　　　　　　 PID = 2228 的執行緒消耗 cpu 最高，十進制的 2228 轉成十六進制 8b4 

　　　　3、利用 jstack 生成虛擬機中所有執行緒的快照

　　　　4、執行緒快照分析

　　　　　　分析方式與 Windows 版一致，我們可以把 2227.stack 下載到本地進行分析，也可直接在 Linux 上分析

　　　　　　在 Linux 上分析，命令： cat 2227.stack |grep '8b4' -C 5 

　　　　　　至此定位到問題

　　　　不管是在 Windows 下，還是在 Linux 下，排查套路都是一樣的

記憶體泄露

　　同樣的，Windows、Linux 各展示一個示例

　　Windows

　　　　1、找到記憶體占有率最高的行程號 PID

　　　　　　第一眼看上去， idea 記憶體占有率最高，因為我是以 idea 啟動的 java 行程；idea 行程我們無需關注，我們找到記憶體占有率最高的 java 的 PID： 10824 

　　　　2、利用  jmap 生成堆轉儲快照

　　　　　　命令： jmap -dump:format=b,file={path} {pid} 

　　　　　　dump 檔案路徑： D:\heapdump_108244.hprof 

　　　　3、利用 MAT 分析 dump 檔案

　　　　　　MAT：Memory Analyzer Tool，是針對 java 的記憶體分析工具；下載地址：

　　　　　　選擇對應的版本，下載后直接解壓；默認情況下，mat 最大記憶體是 1024m ，而我們的 dump 檔案往往大于 1024m，所以我們需要調整，在 mat 的 home 目錄下找到 MemoryAnalyzer.ini ，將 -Xmx1024m 修改成大于 dump 大小的空間， 我把它改成了 -Xmx4096m 

　　　　　　接著我們就可以將 dump 檔案匯入 mat 中，開始 dump 檔案的決議

　　　　　　決議是個比較漫長的程序，我們需要耐心等待

　　　　　　決議完成后，我們可以看到如下概況界面

　　　　　　各個視窗的各個細節就不做詳細介紹了，有興趣的可自行去查閱資料；我們來看看幾個圖：餅狀圖、直方圖、支配樹、可疑的記憶體泄露報告

　　　　　　餅狀圖

　　　　　　　　可以看出， com.lee.schedule.Schedule 物件持有 1G 記憶體，肯定有問題

　　　　　　直方圖

　　　　　　　　我們看下 Person 定義

@Setter
@Getter
@NoArgsConstructor
@AllArgsConstructor
public class Person {

    private String name;
    private Integer age;

}

　　　　　　　　可想而知，上圖示記的幾項都與 Person 有關

　　　　　　支配樹

　　　　　　　　這就非常直觀了，Schedule 中的 ArrayList 占了 99.04% 的大小

　　　　　　可疑的記憶體泄露報告

　　　　　　通過這些資料，相信大家也能找到問題所在了

　　Linux

　　　　排查方式與 Windows 一樣，只是有稍許的命令區別

　　　　1、找到記憶體占有率最高的行程號

　　　　　　使用命令： top -c 顯示運行中的行程串列資訊， shift + m 按記憶體使用率進行排序

　　　　　　行程號： 2527  

　　　　2、利用 jmap 生成堆轉儲快照

　　　　　　命令： jmap -dump:format=b,file={path} {pid} 

　　　　　　堆轉儲快照檔案路徑： /opt/heapdump_2527.hprof 

　　　　3、利用 MAT 分析堆轉儲快照

　　　　　　將 heapdump_2448.phrof 下載到本地，利用 MAT 進行分析；分析程序與 Windows 版完全一致

　　　　　　自此，定位到問題

　　　　Windows 下與 Linux 下，排查流程是一樣的

總結

　　JVM 常用命令

　　　　jps：列出正在運行的虛擬機行程

　　　　jstat：監視虛擬機各種運行狀態資訊，可以顯示虛擬機行程中的類裝載、記憶體、垃圾收集、JIT編譯等運行資料

　　　　jinfo：實時查看和調整虛擬機各項引數

　　　　jmap：生成堆轉儲快照，也可以查詢 finalize 執行佇列、Java 堆和永久代的詳細資訊

　　　　jstack：生成虛擬機當前時刻的執行緒快照

　　　　jhat：虛擬機堆轉儲快照分析工具

　　　　　　與 jmap 搭配使用，分析 jmap 生成的堆轉儲快照，與 MAT 的作用類似

　　排查步驟

　　　　1、先找到對應的行程： PID 

　　　　2、生成執行緒快照 stack （或堆轉儲快照： hprof ）

　　　　3、分析快照（或堆轉儲快照），定位問題

　　記憶體泄露、記憶體溢位和 CPU 100% 關系

　　常用 JVM 性能檢測工具

　　　　Eclipse Memory Analyer、JProfile、JProbe Profiler、JVisualVM、JConsole、Plumbr

參考

　　一次完整的JVM堆外記憶體泄漏故障排查記錄

　　【原創】談談線上CPU100%排查套路

　　緊急修復一次線上商城系統高并發優化實戰

　　面試官：如果你們的系統 CPU 突然飆升且 GC 頻繁，如何排查？

　　記一次公司JVM堆溢位抽絲剝繭定位的程序

　　MAT：一次線上記憶體泄漏排查

　　JVM探秘：MAT分析記憶體溢位

標籤：Java

上一篇：C 和 C++ 打起來了！曾今最親密的伙伴到現今的不爽？

下一篇：IntelliJ IDEA 除錯 Java 8 Stream，實在太香了！