主頁 > 後端開發 > 一份詳盡的 Java 問題排查工具清單，值得收藏！

一份詳盡的 Java 問題排查工具清單，值得收藏！

2020-10-23 07:50:42 後端開發

作者：紅魔七號
https://yq.aliyun.com/articles/69520

前言

平時的作業中經常碰到很多疑難問題的處理，在解決問題的同時，有一些工具起到了相當大的作用，在此書寫下來，一是作為筆記，可以讓自己后續忘記了可快速翻閱，二是分享，希望看到此文的同學們可以拿出自己日常覺得幫助很大的工具，大家一起進步，

閑話不多說，開搞，

Linux命令類

tail

最常用的tail -f

tail -300f shopbase.log #倒數300行并進入實時監聽檔案寫入模式

grep

grep forest f.txt     #檔案查找
grep forest f.txt cpf.txt #多檔案查找
grep 'log' /home/admin -r -n #目錄下查找所有符合關鍵字的檔案
cat f.txt | grep -i shopbase
grep 'shopbase' /home/admin -r -n --include *.{vm,java} #指定檔案后綴
grep 'shopbase' /home/admin -r -n --exclude *.{vm,java} #反匹配
seq 10 | grep 5 -A 3    #上匹配
seq 10 | grep 5 -B 3    #下匹配
seq 10 | grep 5 -C 3    #上下匹配，平時用這個就妥了
cat f.txt | grep -c 'SHOPBASE'

awk

1 基礎命令

awk '{print $4,$6}' f.txt
awk '{print NR,$0}' f.txt cpf.txt
awk '{print FNR,$0}' f.txt cpf.txt
awk '{print FNR,FILENAME,$0}' f.txt cpf.txt
awk '{print FILENAME,"NR="NR,"FNR="FNR,"$"NF"="$NF}' f.txt cpf.txt
echo 1:2:3:4 | awk -F: '{print $1,$2,$3,$4}'

2 匹配

awk '/ldb/ {print}' f.txt   #匹配ldb
awk '!/ldb/ {print}' f.txt  #不匹配ldb
awk '/ldb/ && /LISTEN/ {print}' f.txt   #匹配ldb和LISTEN
awk '$5 ~ /ldb/ {print}' f.txt #第五列匹配ldb

3 內建變數

NR:NR表示從awk開始執行后，按照記錄分隔符讀取的資料次數，默認的記錄分隔符為換行符，因此默認的就是讀取的資料行數，NR可以理解為Number of Record的縮寫，

FNR:在awk處理多個輸入檔案的時候，在處理完第一個檔案后，NR并不會從1開始，而是繼續累加，因此就出現了FNR，每當處理一個新檔案的時候，FNR就從1開始計數，FNR可以理解為File Number of Record，

NF: NF表示目前的記錄被分割的欄位的數目，NF可以理解為Number of Field，

find

sudo -u admin find /home/admin /tmp /usr -name \*.log(多個目錄去找)
find . -iname \*.txt(大小寫都匹配)
find . -type d(當前目錄下的所有子目錄)
find /usr -type l(當前目錄下所有的符號鏈接)
find /usr -type l -name "z*" -ls(符號鏈接的詳細資訊 eg:inode,目錄)
find /home/admin -size +250000k(超過250000k的檔案，當然+改成-就是小于了)
find /home/admin f -perm 777 -exec ls -l {} \; (按照權限查詢檔案)
find /home/admin -atime -1  1天內訪問過的檔案
find /home/admin -ctime -1  1天內狀態改變過的檔案
find /home/admin -mtime -1  1天內修改過的檔案
find /home/admin -amin -1  1分鐘內訪問過的檔案
find /home/admin -cmin -1  1分鐘內狀態改變過的檔案
find /home/admin -mmin -1  1分鐘內修改過的檔案

pgm

批量查詢vm-shopbase滿足條件的日志

pgm -A -f vm-shopbase 'cat /home/admin/shopbase/logs/shopbase.log.2017-01-17|grep 2069861630'

tsar

tsar是咱公司自己的采集工具，很好用, 將歷史收集到的資料持久化在磁盤上，所以我們快速來查詢歷史的系統資料，當然實時的應用情況也是可以查詢的啦，大部分機器上都有安裝，

tsar  ##可以查看最近一天的各項指標


tsar --live ##可以查看實時指標，默認五秒一刷


tsar -d 20161218 ##指定查看某天的資料，貌似最多只能看四個月的資料


tsar --mem
tsar --load
tsar --cpu
##當然這個也可以和-d引數配合來查詢某天的單個指標的情況

top

top除了看一些基本資訊之外，剩下的就是配合來查詢vm的各種問題了

ps -ef | grep java
top -H -p pid

獲得執行緒10進制轉16進制后jstack去抓看這個執行緒到底在干啥

其他

netstat -nat|awk  '{print $6}'|sort|uniq -c|sort -rn
#查看當前連接，注意close_wait偏高的情況，比如如下

排查利器

btrace

首當其沖的要說的是btrace，真是生產環境&預發的排查問題大殺器，簡介什么的就不說了，直接上代碼干

1、查看當前誰呼叫了ArrayList的add方法，同時只列印當前ArrayList的size大于500的執行緒呼叫堆疊

@OnMethod(clazz = "java.util.ArrayList", method="add", location = @Location(value = Kind.CALL, clazz = "/./", method = "/./"))
public static void m(@ProbeClassName String probeClass, @ProbeMethodName String probeMethod, @TargetInstance Object instance, @TargetMethodOrField String method) {

if(getInt(field("java.util.ArrayList", "size"), instance) > 479){
    println("check who ArrayList.add method:" + probeClass + "#" + probeMethod  + ", method:" + method + ", size:" + getInt(field("java.util.ArrayList", "size"), instance));
    jstack();
    println();
    println("===========================");
    println();
}
}

2、監控當前服務方法被呼叫時回傳的值以及請求的引數

@OnMethod(clazz = "com.taobao.sellerhome.transfer.biz.impl.C2CApplyerServiceImpl", method="nav", location = @Location(value = Kind.RETURN))
public static void mt(long userId, int current, int relation, String check, String redirectUrl, @Return AnyType result) {

    println("parameter# userId:" + userId + ", current:" + current + ", relation:" + relation + ", check:" + check + ", redirectUrl:" + redirectUrl + ", result:" + result);
}

其他功能集團的一些工具或多或少都有，就不說了，感興趣的請移步，

https://github.com/btraceio/btrace

注意:

  • 經過觀察，1.3.9的release輸出不穩定，要多觸發幾次才能看到正確的結果

  • 正則運算式匹配trace類時范圍一定要控制，否則極有可能出現跑滿CPU導致應用卡死的情況

  • 由于是位元組碼注入的原理，想要應用恢復到正常情況，需要重啟應用，

Greys

Greys是杜琨的大作吧，說幾個挺棒的功能(部分功能和btrace重合):

sc -df xxx: 輸出當前類的詳情,包括原始碼位置和classloader結構

trace class method:相當喜歡這個功能! 很早前可以早JProfiler看到這個功能，列印出當前方法呼叫的耗時情況，細分到每個方法，

javOSize

就說一個功能
classes：通過修改了位元組碼，改變了類的內容，即時生效，所以可以做到快速的在某個地方打個日志看看輸出，缺點是對代碼的侵入性太大，但是如果自己知道自己在干嘛，的確是不錯的玩意兒，

其他功能Greys和btrace都能很輕易做的到，不說了，

JProfiler

之前判斷許多問題要通過JProfiler，但是現在Greys和btrace基本都能搞定了，再加上出問題的基本上都是生產環境(網路隔離)，所以基本不怎么使用了，但是還是要標記一下，

官網請移步https://www.ej-technologies.com/products/jprofiler/overview.html

大殺器

eclipseMAT

可作為eclipse的插件，也可作為單獨的程式打開，詳情請移步http://www.eclipse.org/mat/

zprofiler

集團內的開發應該是無人不知無人不曉了，簡而言之一句話:有了zprofiler還要mat干嘛，詳情請移步zprofiler.alibaba-inc.com

java三板斧，噢不對，是七把

jps

我只用一條命令：

sudo -u admin /opt/taobao/java/bin/jps -mlvV

jstack

普通用法:

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstack 2815

native+java堆疊:

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstack -m 2815

推薦閱讀：jstack命令：教你如何排查多執行緒問題，關注Java技術堆疊微信公眾號，在后臺回復關鍵字：Java，可以獲取更多堆疊長整理的Java技術干貨，

jinfo

可看系統啟動的引數，如下

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jinfo -flags 2815

jmap

兩個用途

1.查看堆的情況

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -heap 2815

2.dump

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -dump:live,format=b,file=/tmp/heap2.bin 2815

或者

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -dump:format=b,file=/tmp/heap3.bin 2815

3.看看堆都被誰占了? 再配合zprofiler和btrace，排查問題簡直是如虎添翼

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -histo 2815 | head -10

jstat

jstat引數眾多，但是使用一個就夠了

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstat -gcutil 2815 1000

jdb

時至今日，jdb也是經常使用的，

jdb可以用來預發debug,假設你預發的java_home是/opt/taobao/java/，遠程除錯埠是8000.那么

sudo -u admin /opt/taobao/java/bin/jdb -attach 8000

出現以上代表jdb啟動成功，后續可以進行設定斷點進行除錯，

具體引數可見oracle官方說明http://docs.oracle.com/javase/7/docs/technotes/tools/windows/jdb.html

CHLSDB

CHLSDB感覺很多情況下可以看到更好玩的東西，不詳細敘述了，查詢資料聽說jstack和jmap等工具就是基于它的，

sudo -u admin /opt/taobao/java/bin/java -classpath /opt/taobao/java/lib/sa-jdi.jar sun.jvm.hotspot.CLHSDB

更詳細的可見R大此貼

http://rednaxelafx.iteye.com/blog/1847971

plugin of intellij idea

key promoter

快捷鍵一次你記不住，多來幾次你總能記住了吧？

maven helper

分析maven依賴的好幫手，

VM options

1、你的類到底是從哪個檔案加載進來的？

-XX:+TraceClassLoading
結果形如[Loaded java.lang.invoke.MethodHandleImpl$Lazy from D:\programme\jdk\jdk8U74\jre\lib\rt.jar]

2、應用掛了輸出dump檔案

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/logs/java.hprof
集團的vm引數里邊基本都有這個選項

jar包沖突

把這個單獨寫個大標題不過分吧？每個人或多或少都處理過這種煩人的case，我特么下邊這么多方案不信就搞不定你?

mvn dependency:tree > ~/dependency.txt

打出所有依賴

mvn dependency:tree -Dverbose -Dincludes=groupId:artifactId

只打出指定groupId和artifactId的依賴關系

-XX:+TraceClassLoading

vm啟動腳本加入，在tomcat啟動腳本中可見加載類的詳細資訊

 -verbose

vm啟動腳本加入，在tomcat啟動腳本中可見加載類的詳細資訊

greys:sc

greys的sc命令也能清晰的看到當前類是從哪里加載過來的

tomcat-classloader-locate

通過以下url可以獲知當前類是從哪里加載的

curl http://localhost:8006/classloader/locate?class=org.apache.xerces.xs.XSObject

ALI-TOMCAT帶給我們的驚喜(感謝務觀)

列出容器加載的jar串列

curl http://localhost:8006/classloader/jars

列出當前當當前類加載的實際jar包位置，解決類沖突時有用

curl http://localhost:8006/classloader/locate?class=org.apache.xerces.xs.XSObject

其他

gpref

http://www.atatech.org/articles/33317

dmesg

如果發現自己的java行程悄無聲息的消失了，幾乎沒有留下任何線索，那么dmesg一發，很有可能有你想要的，

sudo dmesg|grep -i kill|less

去找關鍵字oom_killer，找到的結果類似如下:

[6710782.021013] java invoked oom-killer: gfp_mask=0xd0, order=0, oom_adj=0, oom_scoe_adj=0
[6710782.070639] [<ffffffff81118898>] ? oom_kill_process+0x68/0x140
[6710782.257588] Task in /LXC011175068174 killed as a result of limit of /LXC011175068174
[6710784.698347] Memory cgroup out of memory: Kill process 215701 (java) score 854 or sacrifice child
[6710784.707978] Killed process 215701, UID 679, (java) total-vm:11017300kB, anon-rss:7152432kB, file-rss:1232kB

以上表明，對應的java行程被系統的OOM Killer給干掉了，得分為854.

解釋一下OOM killer（Out-Of-Memory killer），該機制會監控機器的記憶體資源消耗，當機器記憶體耗盡前，該機制會掃描所有的行程（按照一定規則計算，記憶體占用，時間等），挑選出得分最高的行程，然后殺死，從而保護機器，

dmesg日志時間轉換公式:

log實際時間=格林威治1970-01-01+(當前時間秒數-系統啟動至今的秒數+dmesg列印的log時間)秒數：

date -d "1970-01-01 UTC `echo "$(date +%s)-$(cat /proc/uptime|cut -f 1 -d' ')+12288812.926194"|bc ` seconds"

剩下的，就是看看為什么記憶體這么大，觸發了OOM-Killer了，

新技能get

RateLimiter

想要精細的控制QPS? 比如這樣一個場景，你呼叫某個介面，對方明確需要你限制你的QPS在400之內你怎么控制？這個時候RateLimiter就有了用武之地，詳情可移步

http://ifeve.com/guava-ratelimiter/

推薦去我的博客閱讀更多：

1.Java JVM、集合、多執行緒、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、后端、架構、阿里巴巴等大廠最新面試題

覺得不錯，別忘了點贊+轉發哦！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/186834.html

標籤：Java

上一篇：Docker中使用RabbitMQ

下一篇：一天速成Python教程

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態，例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1：當函式不可能拋出例外或不能接受拋出例外時，使用noexcept 理由 如果不打算拋出例外的話，程式就會認為無法處理這種錯誤，并且應當盡早終止，如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接：https://codeforces.com/problemset/problem/1400/E 來源：Codeforces 思路：給你一個陣列，現在你可以進行兩種操作，操作1：將一段沒有 0 的區間進行減一的操作，操作2：將 i 位置上的元素歸零。最終問：將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯，就附帶了一個自己的翻譯版本 思考 這一題，它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數，這里就不慢慢介紹了。但是，重讀題，我們突然發現反向質數都是 $7$ 位，而將它反過來后的數字卻是 $6$ 位數，這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記：C++中的 const 變數詳解，教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中，會分配記憶體（也就是說可以通過地址間接修改變數的值）。測驗代碼如下： 運行結果： 2、全域const變數存放在只讀資料段（不能通過地址修改，會發生寫入錯誤）， 默認為外部聯編，可以給其他源檔案使用（需要用extern關鍵字修飾） 運行結果： ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中，添加資源 2. 點擊新添加的資源，復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案，編輯，使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索，點擊查找全部，然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h，在其中預先定義好宏 ID（不清楚其實ID值應該設定多少，可以先新建一個相同的資源項，再在這個資源的ID值的基礎上遞增即可） 2. 在資源視圖中選中專案資源，按F7編輯資源檔案，按 ID 型別 相對路徑的形式添加 資源。（別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記：關于C++的參考型別，專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考，也叫別名。 參考就是給一個變數名取一個變數名，方便我們間接地使用這個變數。我們可以給一個變數創建N個參考，這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間，占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名，但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++：初學者完整指南

    眾所周知，C ++的學習曲線陡峭，但是花時間學習這種語言將為您的職業帶來奇跡，并使您與其他開發人員區分開。您會更輕松地學習新語言，形成真正的解決問題的技能，并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣（即清晰一致的編碼風格，在撰寫代碼時注釋代碼，并限制類內部的可見性），并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標（smart pointers）是一類資料結構，是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標（pointer）是一個包含記憶體地址的變數的通用概念。這個地址參考，或 ” 指向”（points at）一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身，參考傳遞（如果傳遞的值需要實體化到堆里）如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如： 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號：Hunter后端 原文鏈接：Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類，Extract() 和 Trunc() Extract() 函式作用是提取日期，比如我們可以提取一個日期欄位的年份，月份，日等資料 Trunc() 的作用則是截取，比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM？ JVM，全稱Java Virtual Machine（Java虛擬機），是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊，使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息！

    更新完微信服務號的模板訊息之后，我又趕緊把微信小程式的訂閱訊息給實作了！之前我一直以為微信小程式也是要企業才能申請，沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類： 位元組緩沖流：BufferedInputStream，BufferedOutputStream 字符緩沖流：BufferedReader，BufferedWriter 緩沖流的基本原理，是在創建流物件時，會創建一個內置的默認大小的緩沖區陣列，通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說，人太懶了，現在基本都不喜歡寫筆記了，但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的，寫的注釋挺全的，應該直接看得懂，就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景：視頻分段傳輸、視頻多段傳輸（理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發，從基本到高級概念，包括簡介，UWP，第一個應用程式，商店，XAML控制元件，資料系結，XAML性能，自適應設計，自適應UI，自適應代碼，檔案管理，SQLite資料庫，應用程式到應用程式通信，應用程式本地化，應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more

Copyright © 2010-2020 有解無憂