主頁 > 後端開發 > 從3s到25ms!看看京東的介面優化技巧,確實很優雅!!

從3s到25ms!看看京東的介面優化技巧,確實很優雅!!

2023-05-16 09:39:57 後端開發

大家好,最近看到京東云的一位大佬分享的介面優化方案,感覺挺不錯的,拿來即用,建議收藏一波或者整理到自己的筆記本中,隨時查閱!

來源:https://toutiao.io/posts/0kwkbbt

下面是正文,

一、背景

針對老專案,去年做了許多降本增效的事情,其中發現最多的就是介面耗時過長的問題,就集中搞了一次介面性能優化,本文將給小伙伴們分享一下介面優化的通用方案,

二、介面優化方案總結

1.批處理

批量思想:批量操作資料庫,這個很好理解,我們在回圈插入場景的介面中,可以在批處理執行完成后一次性插入或更新資料庫,避免多次 IO,

//for回圈單筆入庫
list.stream().forEatch(msg->{
    insert();
});
//批量入庫
batchInsert();

2. 異步處理

異步思想:針對耗時比較長且不是結果必須的邏輯,我們可以考慮放到異步執行,這樣能降低介面耗時,

例如一個理財的申購介面,入賬寫入申購檔案是同步執行的,因為是 T+1 交易,后面這兩個邏輯其實不是結果必須的,我們并不需要關注它的實時結果,所以我們考慮把入賬寫入申購檔案改為異步處理,如圖所示:

至于異步的實作方式,可以用執行緒池,也可以用訊息佇列,還可以用一些調度任務框架,

推薦一個開源免費的 Spring Boot 最全教程:

https://github.com/javastacks/spring-boot-best-practice

3. 空間換時間

一個很好理解的空間換時間的例子是合理使用快取,針對一些頻繁使用且不頻繁變更的資料,可以提前快取起來,需要時直接查快取,避免頻繁地查詢資料庫或者重復計算,

需要注意的事,這里用了合理二字,因為空間換時間也是一把雙刃劍,需要綜合考慮你的使用場景,畢竟快取帶來的資料一致性問題也挺令人頭疼,

這里的快取可以是 R2M,也可以是本地快取、memcached,或者 Map,

舉一個股票工具的查詢例子:

因為策略輪動的調倉資訊,每周只更新一次,所以原來的調介面就去查庫的邏輯并不合理,而且拿到調倉資訊后,需要經過復雜計算,最終得出回測收益和跑贏滬深指數這些我們想要的結果,如果我們把查庫操作和計算結果放入快取,可以節省很多的執行時間,如圖:

4. 預處理

也就是預取思想,就是提前要把查詢的資料,提前計算好,放入快取或者表中的某個欄位,用的時候會大幅提高介面性能,跟上面那個例子很像,但是關注點不同,

舉個簡單的例子:理財產品,會有根據凈值計算年化收益率的資料展示需求,利用凈值去套用年化收益率計算公式計算的邏輯我們可以采用預處理,這樣每一次介面呼叫直接取對應欄位就可以了,

5. 池化思想

我們都用過資料庫連接池,執行緒池等,這就是池思想的體現,它們解決的問題就是避免重復創建物件或創建連接,可以重復利用,避免不必要的損耗,畢竟創建銷毀也會占用時間,

池化思想包含但并不局限于以上兩種,總的來說池化思想的本質是預分配與回圈使用,明白這個原理后,我們即使是在做一些業務場景的需求時,也可以利用起來,

比如:物件池

6. 串行改并行

串行就是,當前執行邏輯必須等上一個執行邏輯結束之后才執行,并行就是兩個執行邏輯互不干擾,所以并行相對來說就比較節省時間,當然是建立在沒有結果引數依賴的前提下,

比如,理財的持倉資訊展示介面,我們既需要查詢用戶的賬戶資訊,也需要查詢商品資訊和 banner 位資訊等等來渲染持倉頁,如果是串行,基本上介面耗時就是累加的,如果是并行,介面耗時將大大降低,

如圖:

7. 索引

加索引能大大提高資料查詢效率,這個在介面設計之出也會考慮到,這里不再多贅述,隨著需求的迭代,我們重點整理一下索引不生效的一些場景,希望對小伙伴們有所幫助,

具體不生效場景不再一一舉例,后面有時間的話,單獨整理一下,

8. 避免大事務

所謂大事務問題,就是運行時間較長的事務,由于事務一致不提交,會導致資料庫連接被占用,影響到別的請求訪問資料庫,影響別的介面性能,

舉個例子:

@Transactional(value ="https://www.cnblogs.com/javastack/p/taskTransactionManager", propagation =Propagation.REQUIRED, isolation =Isolation.READ_COMMITTED, rollbackFor ={RuntimeException.class,Exception.class})
    publicBasicResultpurchaseRequest(PurchaseRecordrecord){
        BasicResult result =newBasicResult();
        //插入賬戶任務
        taskMapper.insert(ManagerParamUtil.buildTask(record,TaskEnum.Task_type.pension_account.type(),TaskEnum.Account_bizType.purchase_request.type()));
        //插入同步任務
        taskMapper.insert(ManagerParamUtil.buildTask(record,TaskEnum.Task_type.pension_sync.type(),TaskEnum.Sync_bizType.purchase.type()));
        //插入影像件上傳任務
        taskMapper.insert(ManagerParamUtil.buildTask(record,TaskEnum.Task_type.pension_sync.type(),TaskEnum.Sync_bizType.cert.type()));
        result.setInfo(ResultInfoEnum.SUCCESS);
        return result;
    }

上面這塊代碼主要是申購申請完成后,執行一系列的后續操作,如果現在新增申購完成后,發送 push 通知用戶的需求,很有可能我們會在后面直接追加,如下圖所示:事務中嵌套 RPC 呼叫,即非 DB 操作,這些非 DB 操作如果耗時較大的話,可能會出現大事務問題,大資料引發的問題主要有:死鎖、介面超時、主從延遲等,

@Transactional(value ="https://www.cnblogs.com/javastack/p/taskTransactionManager", propagation =Propagation.REQUIRED, isolation =Isolation.READ_COMMITTED, rollbackFor ={RuntimeException.class,Exception.class})
    publicBasicResultpurchaseRequest(PurchaseRecordrecord){
        BasicResult result =newBasicResult();
        ...
        pushRpc.doPush(record);
        result.setInfo(ResultInfoEnum.SUCCESS);
        return result;
    }

所以為避免大事務問題,我們可以通過以下方案規避:

1,RPC 呼叫不放到事務里面

2,查詢操作盡量放到事務之外

3,事務中避免處理太多資料

9. 優化程式結構

程式結構問題一般出現在多次需求迭代后,代碼疊加形成,會造成一些重復查詢、多次創建物件等耗時問題,在多人維護一個專案時比較多見,解決起來也比較簡單,我們需要針對介面整體做重構,評估每個代碼塊的作用和用途,調整執行順序,

10. 深分頁問題

深分頁問題比較常見,分頁我們一般最先想到的就是 limit ,為什么會慢,我們可以看下這個 SQL:

select*from purchase_record where productCode ='PA9044'andstatus=4orderby orderTime desclimit100000,200

limit 100000,200 意味著會掃描 100200 行,然后回傳 200 行,丟棄掉前 100000 行,所以執行速度很慢,一般可以采用標簽記錄法來優化,比如:

select*from purchase_record where productCode ='PA9044'andstatus=4and id >100000limit200

這樣優化的好處是命中了主鍵索引,無論多少頁,性能都還不錯,但是局限性是需要一個連續自增的欄位

11.SQL 優化

sql 優化能大幅提高介面的查詢性能,由于本文重點講述介面優化的方案,具體 sql 優化不再一一列舉,小伙伴們可以結合索引、分頁、等關注點考慮優化方案,

12. 鎖粒度避免過粗

鎖一般是為了在高并發場景下保護共享資源采用的一種手段,但是如果鎖的粒度太粗,會很影響介面性能,

關于鎖粒度:就是你要鎖的范圍有多大,不管是 synchronized 還是 redis 分布式鎖,只需要在臨界資源處加鎖即可,不涉及共享資源的,不必要加鎖,就好比你要上衛生間,只需要把衛生間的門鎖上就可以,不需要把客廳的門也鎖上,

錯誤的加鎖方式:

//非共享資源
privatevoidnotShare(){
}
//共享資源
privatevoidshare(){
}
privateintwrong(){
    synchronized(this){
      share();
      notShare();
    }
}

正確的加鎖方式:

//非共享資源
privatevoidnotShare(){
}
//共享資源
privatevoidshare(){
}
privateintright(){
    notShare();
    synchronized(this){
    share();
 }
}

三、最后

我相信很多介面的效率問題不是一朝一夕形成的,在需求迭代的程序中,為了需求快速上線,采取直接累加代碼的方式去實作功能,這樣會造成以上這些介面性能問題,

變換思路,更高一級思考問題,站在介面設計者的角度去開發需求,會避免很多這樣的問題,也是降本增效的一種行之有效的方式,

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了,,,

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發布,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/552465.html

標籤:Java

上一篇:Bigdecimal使用

下一篇:返回列表

標籤雲
其他(159041) Python(38129) JavaScript(25421) Java(18038) C(15226) 區塊鏈(8265) C#(7972) AI(7469) 爪哇(7425) MySQL(7186) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5340) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4572) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2433) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1973) 功能(1967) Web開發(1951) HtmlCss(1936) python-3.x(1918) C++(1917) 弹簧靴(1913) xml(1889) PostgreSQL(1876) .NETCore(1860) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 從3s到25ms!看看京東的介面優化技巧,確實很優雅!!

    大家好,最近看到京東云的一位大佬分享的介面優化方案,感覺挺不錯的,拿來即用。建議收藏一波或者整理到自己的筆記本中,隨時查閱! 來源:https://toutiao.io/posts/0kwkbbt 下面是正文。 一、背景 針對老專案,去年做了許多降本增效的事情,其中發現最多的就是介面耗時過長的問題, ......

    uj5u.com 2023-05-16 09:39:57 more
  • Bigdecimal使用

    ####1.Bigdecimal回傳資料小數后0自動被洗掉的問題 import com.fasterxml.jackson.core.JsonGenerator; import com.fasterxml.jackson.databind.JsonSerializer; import com.fas ......

    uj5u.com 2023-05-16 09:39:49 more
  • java~"與運算"實作保留一個數的低8位

    int型別另外介紹 int型別的封裝型別是Integer型別,它是有符號的型別,即它有負數和正數兩部分,最小為-2^32,最大值是2^32-1。 int型別由32位二進制陣列成,每4位二進制數表示為1位16進制數,每8位2進制數占用存盤空間為1位元組、即每2位16進制也占用1位元組 一個int型別的數字 ......

    uj5u.com 2023-05-16 09:34:03 more
  • 聊一聊模板方法模式

    模板方法模式,又叫模板模式,屬于23種設計模式中的行為型模式。在抽象類中公開定義了執行的方法,子類可以按需重寫其方法,但是要以抽象類中定義的方式呼叫方法。 ......

    uj5u.com 2023-05-16 09:11:15 more
  • 【設計模式】使用 go 語言實作簡單工廠模式

    最近在看《大話設計模式》,這本書通過對話形式講解設計模式的使用場景,有興趣的可以去看一下。 第一篇講的是簡單工廠模式,要求輸入兩個數和運算子號,得到運行結果。 這個需求不難,難就難在類要怎么設計,才能達到可復用、維護性強、可拓展和靈活性高。 運算子可能是加、減、乘、除,未了方便以后可以拓展其它運算子 ......

    uj5u.com 2023-05-16 09:05:56 more
  • Windows平臺下的Go版本切換工具-g

    voidint/g g 是一個 Linux、macOS、Windows 下的命令列工具,可以提供一個便捷的多版本 go 環境的管理和切換。 在這里我們介紹一下在 windows 下的使用,涉及到我們開發所需要用到的 幾個 go 專案層環境變數它們分別是 GOPATH,GOPROXY,GO111MOD ......

    uj5u.com 2023-05-16 09:05:52 more
  • Golang基礎教程

    Golang基礎學習 以下使用goland的IDE演示,包含總計的golang基礎功能共20個章節 一、go語言結構: 二、go基礎語法: 三、變數: 四、常量: 五、運算子: 六、條件陳述句: 七、回圈: 八、函式: 九、變數作用域: 十、陣列: 十一、指標: 十二、結構體: 十三、切片: 十四、范 ......

    uj5u.com 2023-05-16 09:05:48 more
  • 【C++】初始化串列建構式VS普通建構式

    普通建構式VS初始化串列建構式 初始化串列建構式最優先匹配問題 對于一個類而言,只要其中包含有初始化串列的建構式,編譯器在編譯使用{}語法的構造時會最傾向于呼叫初始化串列建構式,哪怕做型別轉換也在所不惜,哪怕有型別最佳匹配的普通建構式或移動建構式也會被劫持 class Widget { ......

    uj5u.com 2023-05-16 09:05:12 more
  • 驅動開發:內核遠程堆分配與銷毀

    在開始學習內核記憶體讀寫篇之前,我們先來實作一個簡單的記憶體分配銷毀堆的功能,在內核空間內用戶依然可以動態的申請與銷毀一段可控的堆空間,一般而言內核中提供了`ZwAllocateVirtualMemory`這個函式用于專門分配虛擬空間,而與之相對應的則是`ZwFreeVirtualMemory`此函式則... ......

    uj5u.com 2023-05-16 08:59:30 more
  • 【C++】requires關鍵字簡介

    requires 是 C++20 中引入的一個新關鍵字,用于在函式模板或類模板中宣告所需的一組語意要求,它可以用來限制模板引數,類似于 typename 和 class 關鍵字。 requires關鍵字常與type_traits頭檔案下型別檢查函式匹配使用,當requires后的運算式值為true時 ......

    uj5u.com 2023-05-15 07:35:34 more