寫在前面

Netty是由JBOSS提供的一個java開源框架，

Netty是一個高性能、異步事件驅動的NIO框架，它提供了對TCP、UDP和檔案傳輸的支持，作為當前最流行的NIO框架，Netty在互聯網領域、大資料分布式計算領域、游戲行業、通信行業等獲得了廣泛的應用，一些業界著名的開源組件也基于Netty的NIO框架構建，

作為最有影響力的NIO框架，Netty得到了眾多架構師和程式員的喜愛，并且在大資料通訊，游戲，人工智能，物聯網等領域都有廣泛的應用，尤其在高并發、高性能 RPC 方面，Netty的地位更是不容小覷的，

然而，想要把Netty真正學明白其實并不是件簡單的事，如果沒有一個好的學習方法，只是一味的依靠閱讀原始碼，這樣既浪費時間又很難學明白，最后還很容易半途而廢，

Netty的一個特點就是入門相對容易，但是真正掌握并精通是非常困難的，原因有如下幾個:

• 涉及的知識面比較廣，Netty作為一個高性能的NIO通信框架，涉及的知識點包括網路通信、多執行緒編程、序列化和反序列化、異步和同步、SSL/TLS安全、記憶體池、HTTP等各種協議堆疊，這些知識點在Java 語言中本身就是難點和重點，如果對這些基礎知識掌握不扎實，是很難真正掌握好Netty的，
• 除錯比較困難，因為大量使用異步編程介面，以及訊息處理程序中的各種執行緒切換，相比傳統同步代碼，Netty代碼除錯難度比較大，
• 類繼承層次比較深，有些代碼很晦澀(例如記憶體池)，對于初學者而言，通過閱讀代碼來掌握Netty的難度還是很大的，
• 代碼規模龐大，目前，Netty 的代碼規模已經非常龐大，特別是協議堆疊部分，提供了對HTTP/2、MQTT、WebSocket 等各種協議的支持，相關代碼非常多，如果學習方式不當，抓不住重點，則全量閱讀Netty原始碼，既耗時又很難吃透，很容易半途而廢，
• 資料零散，缺乏與實踐相關的案例，網上Netty的各種資料非常多，但是都以理論講解為主，Netty 在各行業中的應用、問題定位技巧及案例實踐方面的資料很少，缺乏系統性的實踐總結，是Netty學習的一大痛點，

netty筆記目錄

第一章.Netty服務端意外退出案例

• Netty服務端意外退出問題
• Netty優雅退出機制

記憶體溢位和執行緒膨脹

將連接池的連接數上限配置為100， 業務高峰期發生了OOM例外，業務需要重啟才能恢復，相關例外日志如圖所示，

本章通過兩個簡單的案例分析，引出了信號量、Java Daemon 執行緒及Netty優雅退出相關知識，在實際專案中，知識往往是交叉在一起的，要想熟練掌握Netty服務端的啟動和退出，撰寫更優雅和健壯的代碼，需要重點掌握如下幾個知識點:

• 作業系統的信號量和JavaDeamon執行緒作業機制，
• Netty 的NioEventLoop執行緒作業原理，
• Netty優雅退出相關的幾個核心類別庫，

第2章Net青戶滿連接池資源世局實體

• Netty連接池資源泄漏問題
• Netty客戶端創建機制

錯用NIO編程模式

前面連接池泄漏的原因是采用BIO模式來呼叫NIO通信框架，不僅沒達到優化的效果，而且還發生了OOM例外，

JavaNIO客戶端創建原理分析

Netty客戶端創建原理分析

Bootstrap是Socket客戶端創建工具類，用戶通過Bootstrap 可以方便地創建Netty的客戶端并發起異步TCP連接操作，Netty 客戶端創建流程如圖2-10所示，

小結

本章分析了一個生產環境Netty客戶端連接池資源泄漏案例，詳細講解了Netty 客戶端創建的流程和作業原理，以及在實際專案中如何正確地實作連接池，避免發生并發安全和資源不當釋放等問題，

第3章Netty記憶體池泄漏疑云案例

• Netty記憶體池泄漏問題
• Netty記憶體池作業機制

回應訊息記憶體釋放玄機

對業務ByteBuf申請相關代碼進行排查，發現回應訊息由業務執行緒創建，但是卻沒有主動釋放，因此懷疑是回應訊息沒有釋放導致的記憶體泄漏，因為回應訊息使用的是PooledHeapByteBuf,如果發生記憶體泄漏，利用堆記憶體監控就可以找到泄漏點，通過JavaVisualVM工具觀察堆記憶體占用趨勢，并沒有發現堆記憶體發生泄漏，如圖3-2所示，

記憶體池作業原理分析

Netty記憶體池是一把雙刃劍，使用得當會在很大程度上提升系統的性能，但是誤用則會帶來記憶體泄漏問題，從表面上看，只要遵循主動申請和釋放原則即可，但是由于記憶體的申請和釋放可能由Netty框架隱性完成，增加了記憶體管理的復雜性，

通過學習Netty 收發訊息的ByteBuf 申請和釋放機制，可以避免在專案中因誤用ByteBuf而發生記憶體泄漏，在熟悉了ByteBuf 的申請和釋放機制后，通過對Netty記憶體池作業原理和關鍵原始碼的分析，讀者可以更好地掌握Netty記憶體池的使用方法，

第4章ByteBuf故障排查案例

• HTTP協議堆疊ByteBuf使用問題
• Netty ByteBuf實作機制

ByteBuf參考計數器作業原理和原始碼分析

ByteBuf的申請和釋放可能會跨Netty 的NioEventLoop 和業務執行緒，跨執行緒操作ByteBuf時一定要謹慎，防止發生并發安全和非法參考問題，另外，由于ByteBuf的實作類非常多，不同的實作功能特性存在差異，用戶在使用時一定要認真閱讀API Doc說明，必要時要看原始碼，防止誤用導致出現功能和性能問題，

第5章Netty發送佇列積壓導致記憶體泄漏案例

• Netty發送佇列積壓案例
• Netty訊息發送作業機制

高井發故障場景

為了便于分析，對真實的業務代碼做簡化處理，在一個客戶端內部創建一個執行緒，向服務端回圈發送請求訊息，模擬客戶端高并發場景，示例代碼如下:

訊息發送原始碼分析

本章通過發送佇列積壓案例，對Netty 的訊息發送原理和原始碼進行了深入講解，熟悉了Netty的發送佇列作業機制、高低水位機制等，就可以在實際專案中更好地利用這些功能，提升基于Netty構建的通信框架的可靠性，

第6章API網關高并發壓測性能波動案例

• 高并發壓測性能波動問題
• Netty訊息接入記憶體申請機制

主動記憶體泄漏定位法

對于高并發接入的API網關類產品，需要謹慎處理訊息的記憶體申請和釋放，減少不必要的申請(例如透傳類場景)，同時要防止記憶體空間的浪費，借鑒Netty請求訊息讀取的記憶體申請策略和動態擴容機制，并用在實際專案中，可以得到較大的性能提升，

第7章Netty ChannelHandler并發安全案例

• Netty ChannelHandler并發安全問題
• Netty ChannelHandler作業機制

ChannelHandler的并發陷阱

ChannelHandler是用戶最常用的介面，掌握了ChannelHandler 及ChannelPipeline作業原理，就清楚了什么時候該使用共享的ChannelHandler,什么時候該對ChannelHandler做并發保護，無論缺少保護還是過度保護，都會給業務帶來副作用，甚至嚴重的功能或性能問題，因此ChannelHandler的并發安全性是非常重要的，

第8章車聯網服務端接收不到車載終端訊息案例

• 車聯網服務端接收不到車載終端訊息問題
• NioEventL oop執行緒作業機制

NioEventLoop執行緒防掛死策略

I/O讀寫操作原理和原始碼分析

Netty多執行緒最佳實踐

當Netty服務端接收不到訊息時，首先需要檢查是客戶端沒有發送到服務端，還是服務端沒有讀取訊息，導致服務端無法讀取訊息的原因有很多，常見的包括GC導致的應用執行緒暫停、服務端的NioEventLoop執行緒被意外阻塞等，通過網路I/O執行緒和業務邏輯執行緒分離，可以實作雙方的并行處理，提升系統的可靠性，對于用戶而言，在撰寫代碼時，始終需要考慮NioEventLoop 執行緒是否會被業務代碼阻塞，只有消除所有可能導致的阻塞點，才能保證程式穩定運行，

第9章Netty 3.X版本升級案例

• Netty 3.X的版本升級背景
• 版本升級后資料被篡改問題
• 升級后背景關系丟失問題
• 升級后應用遭遇性能下降問題
• Netty執行緒模型變更分析

性能下降原因分析

就Netty而言，掌握執行緒模型的重要性不亞于熟練使用它的API和功能，很多時候業務遇到的功能、性能等問題，都是由于缺乏對Netty執行緒模型和原理的理解導致的，對Netty的版本升級需要從功能、兼容性和性能等多個角度進行綜合考慮，切不可只盯著API和功能變更這個“芝麻”，而丟掉了執行緒模型和性能這個“西瓜”，API的變更會導致編譯錯誤，但是性能下降卻隱藏于無形之中，稍不留意就會中招，對于強調快速交付和敏捷開發的互聯網類應用，升級的時候尤其要小心，不能功能調通后簡單驗證就匆忙上線，

第10章Netty并發失效導致性能下降案例

• 業務ChannelHandler無法并發執行問題
• Netty DefaultEventExecutor作業機制

DefaultEventExecutor原理和原始碼分析

業務執行緒池優化策略

Netty框架本身實作了高性能的網路讀寫操作，但是后端業務邏輯執行卻是影響性能的關鍵要素，如果直接將復雜的業務邏輯操作放在I/O執行緒中完成，一些同步阻塞操作可能會導致I/O執行緒被阻塞，當把業務邏輯單獨拆分到業務執行緒池中進行處理，與I/O執行緒隔離時，不同的業務執行緒模型對性能的影響也非常大，Netty 提供了默認的并行調度ChannelHandler的能力，但是如果使用不當，也會帶來性能問題，對于業務自定義實作的執行緒池，如果追求更高的性能，就需要在消除或者減輕鎖競爭上下工夫，執行緒系結技術是一個不錯的選擇，但是也需要根據業務實際場景來實作，例如TCP長連接就可以使用Channelld做Key,如果是短連接，客戶端的埠是隨機變化的，則不適合使用Channelld.

第11章loT百萬長連接性能調優案例

• 海量長連接接入面臨的挑戰
• 智能家居記憶體泄漏問題
• 作業系統引數調優
• Netty性能調優
• JVM相關性能優化

設定合理的執行緒數

對于執行緒池的調優，主要集中在用于接收海量設備TCP連接、TLS握手的Acceptor執行緒池(Netty 通常叫boss NioEventLoopGroup) 上，以及用于處理網路資料讀寫、心跳發送的I/O作業執行緒池(Netty 通常叫work NioEventLoopGroup)上，

I/O執行緒和業務執行緒分離

第12章靜態檢查修改不當引起性能下降案例

• Edgeo Secie性能嚴重下降問題
• 克隆和淺拷貝

Netty的物件拷貝實作策略

第13章Netty性能統計誤區案例

• 時延毛刺排查相關問題
• Netty關鍵性能指標采集策略

都是同步思維惹的禍

第14章gRPC的Netty HTTP/2實踐案例

• gRPC基礎入門
• gRPC Netty HTTP/2服務端作業機制
• gRPC Netty HTTP/2客戶端作業機制
• gRPC訊息序列化機制
• gRPC執行緒模型

RPC框架簡介

RPC框架的目標就是讓遠程服務呼叫更加簡單、透明，RPC框架負責屏蔽底層的傳輸方式(TCP 或者UDP)、序列化方式(XML/JSON/二進制)和通信細節，服務呼叫者可以像呼叫本地介面一樣呼叫遠程的服務提供者，而不需要關心底層通信細節和呼叫程序，

為什么選擇HTTP/2

服務端接收HTTP/2請求訊息原理和原始碼分析

gRPC服務端的請求訊息由Netty HTTP/2協議堆疊負責接入，gRPC通過繼承Http2FrameAdapter,將自定義的FrameListener添加到Netty的Http2ConnectionDecoder中，在HTTP/2請求訊息頭和訊息體被決議成功之后，回呼gRPC的FrameListener,接收并處理HTTP/2請求訊息，如圖14-8所示，

NettyHTTP/2客戶端創建原理和原始碼分析

Google Protobuf簡介

服務端執行緒模型

第15章Netty事件觸發策略使用不當案例

• channelReadComplete方法被呼叫多次問題
• ChannelHandler使用的一些誤區總結

ChannelHandler呼叫問題

在生產環境中將某一個服務實體的調測日志打開一段時間，以便定位問題，通過介面日志分析發現，對于同一個HTTP請求訊息，當發生問題時，業務ChannelHandler 的channelReadComplete方法會被呼叫多次，但是大部分訊息都呼叫一次，按照業務的設計初衷，當服務端讀到一個完整的HTTP請求訊息時，在channelReadComplete方法中進行業務邏輯處理，如果一個請求訊息的channelReadComplete方法被呼叫多次，則業務邏輯會出現例外，

第16章Netty流量整形應用案例

• Netty流量整形功能
• Netty流量整形應用
• Netty流量整形作業機制

通用的流量整形功能簡介

流量整形作業原理和原始碼分析

第17章Netty SSL應用案例

• Netty SSL功能簡介
• Netty客戶端SSL握手超時問題
• SSL握手性能問題
• SSL事件監聽機制

SSL安全特性

單向認證

單向認證即客戶端驗證服務端的合法性，服務端不驗證客戶端，它的作業原理如下，

雙向認證

SSL雙向認證相比單向認證多了一步，即服務端發送認證請求訊息給客戶端，客戶端發送自簽名證書給服務端進行安全認證，

CA認證

Netty SSL實作機制

第18章Nety HTPS服務滿高并發宕機案例

• Netty HTTPS服務端宕機問題
• 功能層面的可靠性優化
• 架構層面的可靠性優化

服務端記憶體泄漏原因分析

高并發場景下缺失的可靠性保護

NettyHTTPS服務端可靠性優化

第19章MQTT服務接入超時案例

• MQTT服務接入超時問題
• 基于Netty的可靠性設計

連接數膨脹原因分析

業務定制I/O例外

第20章Netty實踐總結

• Netty學習策略
• Netty故障定位技巧

入門知識準備

1. Java NIO類別庫

需要熟悉和掌握的類別庫主要包括:

(1)緩沖區Buffer

(2)通道Channel

專案實戰落地白皮書

該游戲是一款歐美卡通風格的MMORPG 游戲，目前正在研發中，2020年準備發布在Google Play 上，進軍歐美市場，同時，游戲技術框架基于國內知名網頁游戲《回到三國志》

專案概述

這份【Netty進階之路】以及【游戲專案白皮書】檔案共有364頁，需要完整版的朋友，可以三連此篇，掃描下方直接獲取！！

當然，單單有檔案看是遠遠不夠的，還有視頻和相匹配的課件進行學習提升，努力把neyyt這一塊兒給搞明白，相信一定會有不凡的人生! !

視頻課件

好了，今天就分享到這里了，希望大家能夠好好學習，把neyyt這一塊兒給提升上來，也希望本文能夠得到大家的喜歡！！