前言
halo，相信大家一定過了一個很開心的端午節吧，我看朋友圈里各種曬旅游，曬美食的，真是羨慕啊，不像我，感冒了只能在家擼文章，
當然，玩的多開心，節后上班就有多郁悶，假日綜合征可不是說說而已，對此我想表達的是，沒事，不用郁悶，來看我如何自爆家丑來讓你們開心下，
反常的sql陳述句
上周四午休時分，我正在工位上小憩，睡夢中仿佛看到了自己拿著李白在榮耀峽谷里大殺四方的情景，就在我剛拿完五殺準備帶領隊友推對面水晶的時候，一句慌亂急促的“糟了”把我從睡夢中驚醒，我瞇開朦朧的雙眼，才發現剛才的發聲來源于我的組長莊哥，看到他在緊張的點開日志系統查看日志，我預感到有什么不妙的事情發生，仔細一問才知道，原來就在我瞇眼的期間，線上資料庫服務器的CPU被打滿，同時觸發了生產資料庫只讀延遲的限定時間并且發出告警，而且告警的程序持續了半個小時，
這讓我倒吸了一口涼氣，因為我們組做的系統很多都用的是同一個資料庫服務器，日用戶活躍量有好幾十萬，如果服務器崩潰了將會使所有的系統服務都不可用，于是我們趕緊通過sql日志進行問題查找，最后排查出來是因為一張sql的高量查詢沒有走索引導致，日志串列顯示，這條sql陳述句的掃描行數達到了上百萬，基本就是全表掃描的情況，而且半個小時的時間查詢了達上萬次，每條sql查詢的耗時都在3000ms以上，我的天啊，難怪服務器會CPU打滿，這么一條耗時的sql陳述句查詢量這么大，資料庫的資源當然是直接就崩潰了，這是當時那條sql的查詢情況：
臨時處理
看了這條陳述句，我又倒吸一口涼氣，這不就是我寫的系統呼叫的sql陳述句嗎？完了，這回逃不掉了，真是人在睡夢里，鍋從天上來，
當然，因為是我自己寫的sql，所以我一看就知道這條陳述句是有問題的，
根據我的代碼處理，這條sql的呼叫還少了個重要的引數user_fruit_id，這個引數沒有傳的話是不應該走這條sql查詢的，在我的設計里，該引數是資料表里一個聯合索引的最左側欄位，如果該欄位沒有傳值的話，那么索引就不會生效了，
KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE
雖然定位到了sql陳述句，但是線上的問題刻不容緩，總不可能找出bug改完再上線吧，所以，我們只能做了一個臨時處理，就是在原來的表上多加了一個聯合索引，其實就是去掉了user_fruit_id 欄位，讓這些高量的查詢都能走新的索引，就像下面這樣
KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE
加上索引后，sql的掃描行數就大幅度的降低了，重啟實體后就又能正常運行了，
最左匹配原則
那么為什么最左側的欄位沒傳索引就不生效了，這是因為MySQL的聯合索引是基于“最左匹配原則”匹配的，
我們都知道，索引的底層是B+樹結構，聯合索引的結構也是B+樹，只不過鍵值數量不是一個，而是多個，構建一顆B+樹只能根據一個值來構建，因此資料庫依據聯合索引最左的欄位來構建B+樹，
例如我們用兩個欄位（name，age）這個聯合索引來分析，
圖片來源于林曉斌老師的《MySQL實戰45講》課程，
當我們在where條件中查找name為“張三”的所有記錄的時候，可以快速定位到ID4，并且查出所有包含“張三”的記錄，而如果要查找“張三，10”這一條特定的資料，就可以用 name = "張三" and age = 10 獲取，因為聯合索引的鍵值對是兩個，所以只要前面的name確定的情況下就可以進一步定位到具體的age記錄，但是如果你的查詢條件只有age的話，那么索引就不會生效，因為沒有匹配最左邊的欄位，后面所有的索引欄位都不會生效，所以我之前寫的sql陳述句才會因為少了最左邊的user_fruit_id欄位而走了全表掃描的查詢方式，
正常來說，假設一個聯合索引設計成(a,b)這樣的結構的話，那么用a and b作為條件，或者a單獨作為查詢條件都會走索引，這種情況下我們就不要再為a欄位單獨設計索引了，
但如果查詢條件里面只有b的陳述句，是無法使用(a,b)這個聯合索引的，這時候你不得不維護另外一個索引，也就是說你需要同時維護(a,b)、(b) 這兩個索引，
找出Bug
雖然臨時做了處理，但問題并不算解決，很明顯是系統出現了bug才會有走這樣的查詢條件，因為是我自己寫的代碼，所以知道是哪條sql后我就馬上定位到了代碼里的具體方法，后來才發現是因為我對user_fruit_id欄位的判空處理不生效所致，
因為該欄位是從呼叫方傳過來的，所以我在方法引數里對該欄位做了非空限制的注解，也就是javax包下的@NotNull，
public class GardenUserTaskListReq implements Serializable {
private static final long serialVersionUID = -9161295541482297498L;
@ApiModelProperty(notes = "水果id")
@NotNull(message = "水果id不能為空")
private Long userFruitId;
/**以下省略*/
.....................
}
雖然加上該注解來做非空校驗，但我卻沒有在引數加上另一個注解@Validated，該注解如果沒加上的話，那么呼叫javax包下的校驗規則就都不生效，正確的寫法是在controller層方法的引數前面加上注解，
除此之外，因為user_fruit_id這個欄位是另一張表的主鍵，我在代碼里也沒有對這張表是否存在這個id做查詢判斷，這樣一來，無論呼叫方傳什么值過來都會直接觸發sql查詢，并且在不跑索引的情況下直接走全表掃描，
不得不說，這真是個低級錯誤，說真的，我對這個原因真是感到嘀笑皆非，再怎么說也作業幾年了，怎么還犯一些新手級別的錯誤呢，這臉打得真是讓我相當慚愧，
總結
雖然是低級錯誤，但造成的后果也算挺嚴重了，這次事件也讓我更加的警醒，在以后的開發作業中必須要遵守該有的原則，大概有這么幾點：
1、不能相信呼叫端，重要的引數都要先做驗證，即使是非空值也需要做驗證，不符合條件的就要直接回傳或拋例外，不能參與業務sql的查詢，否則頻繁的訪問也會對服務造成負擔，
2、sql陳述句要先做性能查詢，對于資料量大的表，建好索引后，所有的sql查詢陳述句要用explain檢測性能，并且根據結果來進一步優化索引，
3、代碼必須要review，之前我沒有放太大的精力在代碼的review上，雖說跟迭代排期的緊湊也有關系，但不管怎么說，bug確實是我的疏忽造成的，尤其是像空值這種細小的錯誤在Java里可以說家常便飯，千里之堤毀于蟻穴，有時一個小bug很容易就引發整個系統的崩盤，這一次的問題也讓我更加深刻的認識到了review代碼的重要性，不管業務開發的作業量有多麻煩，這一步操作絕對不能忽視，
后續
知道了bug的原因，改完代碼當天就重新發布了，后來，莊哥告訴我說，為了以后讓組里的其他人對此次問題有所警戒，讓我寫一篇問題記錄總結一下，我想了一下，這不是我的強項啊，但怎么說也確實是自己的問題，還是老老實實的寫一下記錄好了，我本以為這樣就可以松一口氣了，可平哥 (組里的一位大佬) 卻突然用詭異的眼神看著我，語重心長的說，上次xxx也因為線上出現問題寫了報告，你這一次估計也不能例外了，可能要一萬字以上，我瞬間就感覺一個雷劈到了我頭上，蒼天啊，，，，，，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/3751.html
標籤：其他
下一篇：小白—職場之Java基礎篇