本篇主要介紹Java NIO的基本原理和主要組件

Netty是由JBOSS提供的Java開源網路應用程式框架，其底層是基于Java提供的NIO能力實作的，因此為了掌握Netty的底層原理，需要首先了解Java NIO的原理，

NIO簡介

計算機主要由CPU、記憶體、外存、IO設備等硬體組成，計算機執行計算的程序就是CPU從記憶體中獲取資料，進行計算，然后再將計算結果寫入記憶體中，但由于記憶體非常昂貴且下電后資料會丟失，計算機需要使用外存來持久化存盤大規模的資料，外存提供了大量的存盤空間，代價是其存取速度遠小于記憶體，除了讀取外存資料，計算機還可以從網路設備獲取網路中的資料，受網路傳輸速度的限制，計算機獲取網路資料的速度也遠小于其讀取記憶體的速度，

對于存取這些低速IO設備，作業系統（如Linux）提供了5種不同的IO模型，對于Java來說，其最先提供的就是基于最簡單的阻塞式IO模型實作的BIO(Blocking IO)庫，當呼叫BIO庫讀取硬碟中的資料時，用戶行程會一直被阻塞在讀資料的介面上，直到資料被作業系統從硬碟中獲取出來并回傳給用戶，這時用戶行程才能繼續向下執行，由于讀取硬碟速度相比CPU計算速度慢很多，行程就會一直被卡在讀取資料這里，用戶體驗就是行程沒有回應，即使CPU處于空閑狀態，也無法使用CPU進行其他作業，這就浪費了大量的資源，同時也給用戶造成了不好的體驗，

除了最傳統的阻塞式IO，作業系統還提供了其他幾種改進的IO模型，總體思想都是盡可能減少用戶行程阻塞在IO上的時間，在進行慢速設備IO時，行程無需等待，可以繼續處理其他指令，當資料獲取完成時作業系統再通知用戶行程可以進行后續的資料處理操作，因此Java在1.4版本后就推出了一套新的IO介面NIO(New IO)，這套IO介面基于多路復用IO模型，提供了非阻塞的IO能力，因此NIO中的N也可以理解為Non-blocking，這套NIO介面實作了只用一個執行緒來輪詢等待所有應用行程的IO就緒狀態，當某個應用行程的IO狀態就緒時，再通知對應行程進行資料讀寫的操作，這就避免了每個應用行程在IO時被阻塞，為開發高性能和高并發的應用提供了關鍵能力，

NIO的3個核心組件

Channel
Buffer
Selector

Channel（通道）

Channel 是 NIO 的核心概念，它表示一個打開的連接，是資料讀寫的雙向通道，這個連接可以連接到 I/O 設備（例如：磁盤檔案，Socket）或者一個支持 I/O 訪問的應用程式，Java NIO 使用緩沖區和通道來進行資料傳輸，

Channel的主要實作類有：

FileChannel（讀寫檔案）
DatagramChannel（UDP編程）
SocketChannel（TCP編程）
ServerSocketChannel（TCP編程）

FileChannel

FileChannel只能作業在阻塞模式下，不能配合Selector

FileChannel不能直接打開，必須通過FileInputStream，FileOutputStream或RandomAccessFile來獲取，它們都有getChannel()方法

通過FileInputStream獲取的channel只能讀
通過FileOutputStream獲取的channel只能寫
通過RandomAccessFile是否能讀寫根據構造時的讀寫模式決定

transferTo方法

效率相比使用流式方式拷貝資料高很多，底層使用了作業系統提供的零拷貝特性，

一次最多傳輸2g的資料

Buffer（緩沖區）

Buffer是NIO的另一個核心概念，NIO庫操作資料都是通過緩沖區處理的，在資料讀寫的程序都要先經過緩沖區，然后再從緩沖區中按照塊來處理資料，

從類圖中可以看到，7 種資料型別對應著 7 種子類，這些名字是 Heap 開頭子類，資料是存放在 JVM 堆中的，

MappedByteBuffer

MappedByteBuffer存放在堆外直接記憶體中，可以與檔案進行映射，

通過java.nio包和MappedByteBuffer允許Java程式直接從記憶體中讀取檔案內容，通過將整個或部分檔案映射到記憶體，由作業系統來處理加載請求和寫入檔案，應用只需要和記憶體打交道，這使得IO操作非常快，

Mmap記憶體映射和普通標準IO操作的本質區別在于它并不需要將檔案中的資料先拷貝至OS的內核IO緩沖區，而是可以直接將用戶行程私有地址空間中的一塊區域與檔案物件建立映射關系，這樣程式就好像可以直接從記憶體中完成對檔案讀/寫操作一樣，

ByteBuffer的正確使用方式

向buffer中寫入資料，例如channel.read(buf)
呼叫flip()切換成讀模式
從buffer中讀取資料，例如buffer.get()
呼叫clear()或compact()切換為寫模式
重復1-4

點擊查看代碼

@Slf4j
public class TestByteBuffer {
    public static void main(String[] args) {
        try (FileInputStream fileInputStream = new FileInputStream("data.txt");
             FileChannel channel = fileInputStream.getChannel()) {
            ByteBuffer buffer = ByteBuffer.allocate(10);
            while (true) {
                int len = channel.read(buffer);
                if (len < 0) {
                    break;
                }
                log.info("讀到的字符數：{}", len);
                buffer.flip();
                while (buffer.hasRemaining()) {
                    byte b = buffer.get();
                    log.info("讀到的字符：{}", (char) b);
                }
                buffer.clear();
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
}

Java規定內碼使用UTF-16編碼，一個字符占用2個位元組，也就是Java中的char型別在記憶體中是使用UTF-16的編碼形式存盤的，而我們代碼中讀取的檔案data.txt使用的是UTF-8編碼格式，因此對于其中的英文字符和數字，一個字符只占用一個位元組，因此代碼中我們可以每次讀取一個位元組，然后再把它轉換成Java內部的char，

Buffer的結構

Buffer是由特定基本型別的元素組成的線性有限序列，除了Buffer里面的內容，其最重要的屬性就是它的capacity，limit和position，

capacity：Buffer中可以儲存的元素數量，Buffer的capacity不能為負值也永遠不會改變，
limit：Buffer中第一個不能被讀取或寫入的元素的位置，limit不能為負值也不能大于capacity，
position：Buffer中下一個將要被讀取或寫入的元素的位置，position不能為負值也不能大于limit，

三個屬性是如何控制讀寫程序的

通過原始碼可以看出，呼叫ByteBuffer.allocate(10)的時候，我們初始化了一個HeapByteBuffer物件，并將其capacity和limit均設定為10，position被設定為0，

點擊查看代碼

// ByteBuffer.java
public static ByteBuffer allocate(int capacity) {
    if (capacity < 0)
        throw new IllegalArgumentException();
    return new HeapByteBuffer(capacity, capacity);
}
// HeapByteBuffer.java，呼叫的HeapByteBuffer中的構造方法
HeapByteBuffer(int cap, int lim) {            // package-private
    super(-1, 0, lim, cap, new byte[cap], 0);
}

當呼叫channel.read(buf)向Buffer中寫入資料時，根據原始碼分析，其最侄訓調入ByteBuffer的put()方法中，HeapByteBuffer對其的實作如下，nextPutIndex()方法檢查當前position是否大于等于limit，如果小于limit，則將原position回傳，并將原position加1，

點擊查看代碼

// HeapByteBuffer.java
public ByteBuffer put(byte x) {
    hb[ix(nextPutIndex())] = x;
    return this;
}

當寫入完成后，我們呼叫flip()方法，所謂將Buffer切換為讀模式，其實原始碼中就是將position和limit的位置重新賦值，如此操作后，position就是我們讀取資料的起點，limit就是我們讀取資料的終點，

點擊查看代碼

// Buffer.java
public final Buffer flip() {
    limit = position;
    position = 0;
    mark = -1;
    return this;
}

切換讀模式后，就可以呼叫buffer.get()方法來獲取一個位元組，通過原始碼可以看出，nextGetIndex()方法檢查當前position是否大于等于limit，如果小于limit，則將原位置回傳，并將原位置加1，

點擊查看代碼

// HeapByteBuffer.java
public byte get() {
    return hb[ix(nextGetIndex())];
}

當讀取所有資料后，可以呼叫buffer.clear()方法或buffer.compact()方法將Buffer切換為寫模式，
- clear(): 直接將Buffer重置為初始狀態，忽略還沒有讀完的資料，
- compact()：將還沒讀完的資料復制到緩沖區頭部，然后從沒讀完的資料后可以開始寫入新的資料

點擊查看代碼

// Buffer.java
public final Buffer clear() {
    position = 0;
    limit = capacity;
    mark = -1;
    return this;
}

// HeapByteBuffer.java
public ByteBuffer compact() {
    System.arraycopy(hb, ix(position()), hb, ix(0), remaining());  // 將還沒讀完的資料拷貝到陣列頭部
    position(remaining());  // 將position重置為剩余待讀資料之后
    limit(capacity());  // 將limit重置為capacity
    discardMark();
    return this;
}

mark和reset

mark是Buffer中的另一個屬性，它的主要用途是記錄一個position的位置，后續呼叫reset()方法后會將position重置到mark的位置，mark可以不被定義，但如果設定了mark的值，則它不能為負值且不能大于position的值，

粘包和半包

比如我們想要發送三行資料

Hello world.\n
It is my life.\n
I love you.\n

為了提高發送效率，通常我們會將這三行字串合并到一個Buffer中進行發送，另一端在接收到訊息時，由于協議并不理解訊息的內容，因此用戶在讀取資料時，有可能讀取出來如下兩個包，

Hello world.\nIt is my life.\nI Lo
ve you.\n

這里第一個包出現了原來的兩條資料在一個包中的情況，這就叫做粘包，第一行最后的資料將原來的一條資料截斷了，這就叫做半包，

我們可以通過如下方式處理粘包和半包的問題，

點擊查看代碼

public class TestStickyAndHalfPackage {
    public static void main(String[] args) {
        ByteBuffer p1 = ByteBuffer.allocate(64);
        p1.put("Hello world.\nIt is my life.\nI lo".getBytes());
        split(p1);
        p1.put("ve you.\n".getBytes());
        split(p1);
    }

    private static void split(ByteBuffer buffer) {
        buffer.flip();
        for (int i = 0; i < buffer.limit(); ++i) {
            if (buffer.get(i) == '\n') {
                int len = i + 1 - buffer.position();
                ByteBuffer line = ByteBuffer.allocate(len);
                for (int j = 0; j < len; ++j) {
                    line.put(buffer.get());
                }
                line.flip();
                System.out.print(StandardCharsets.UTF_8.decode(line));
            }
        }
        buffer.compact();  // 將沒有讀完的資料移動到buffer頭部，這里是處理半包和粘包的關鍵
    }
}

Selector（選擇器）

概念繼承于作業系統IO模型中多路復用IO模型中的selector，其主要作用是，用戶可以把所有讀寫Channel都注冊在某個Selector上，Selector會不斷的輪詢注冊在上面的所有channel，如果某個channel為讀寫等事件做好準備，那么就處于就緒狀態，通過Selector可以不斷輪詢發現出就緒的channel，進行后續的IO操作，為何要做這種設計呢？

如果每一個Channel都需要一個執行緒來為其IO程序提供服務，則會占用大量的記憶體，CPU需要在很多執行緒間進行切換，有太多額外開銷，而且隨著連接數量增加，執行緒數量會達到上限，無法支持大連接數，

有一種解決方案是使用有固定執行緒數量的執行緒池來處理所有連接請求，但執行緒池中的執行緒一旦被占用，就要阻塞等待IO完成才能被其他連接使用，如果IO請求花費時間很長，那會導致后續的大量IO請求需要排隊等待，這種情況只適合處理短連接比較多的場景，

針對連接數量非常多，資料流量比較少的場景，多路復用的IO模型就比較適合，如下圖所示，每一個Channel可以把自己注冊到一個獨立運行的Selector執行緒中，這個Selector執行緒會輪詢所有Channel的讀寫狀態，當發現一個就緒的Channel時，就可以使用作業執行緒為這個Channel提供服務，這樣作業執行緒就不需要阻塞在某一個Channel上，只有真正要進行資料讀寫時才分配給某個Channel，極大提高了執行緒的利用率，

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/542031.html

標籤：其他

上一篇：在GCP上創建GCE的三種方式(Console,gcloud,Terraform)

下一篇：Python開發的常用組件

Netty（1）——NIO基礎

NIO簡介

NIO的3個核心組件

Channel（通道）

FileChannel

transferTo方法

Buffer（緩沖區）

MappedByteBuffer

ByteBuffer的正確使用方式

Buffer的結構

三個屬性是如何控制讀寫程序的

mark和reset

粘包和半包

Selector（選擇器）