Java NIO全面詳解(看這篇就夠了)-有解無憂

很多技術框架都使用NIO技術，學習和掌握Java NIO技術對于高性能、高并發網路的應用是非常關鍵的@mikechen

NIO簡介

NIO 中的 N 可以理解為 Non-blocking，不單純是 New，是解決高并發、I/O高性能的有效方式，

Java NIO是Java1.4之后推出來的一套IO介面，NIO提供了一種完全不同的操作方式， NIO支持面向緩沖區的、基于通道的IO操作，

新增了許多用于處理輸入輸出的類，這些類都被放在java.nio包及子包下，并且對原java.io包中的很多類進行改寫，新增了滿足NIO的功能，

NIO VS BIO

BIO

BIO全稱是Blocking IO，同步阻塞式IO，是JDK1.4之前的傳統IO模型，

Java BIO：服務器實作模式為一個連接一個執行緒，即客戶端有連接請求時服務器端就需要啟動一個執行緒進行處理，如下圖所示：

雖然此時服務器具備了高并發能力，即能夠同時處理多個客戶端請求了，但是卻帶來了一個問題，隨著開啟的執行緒數目增多，將會消耗過多的記憶體資源，導致服務器變慢甚至崩潰，NIO可以一定程度解決這個問題，

NIO

Java NIO：同步非阻塞，服務器實作模式為一個執行緒處理多個請求(連接)，即客戶端發送的連接請求都會注冊到多路復用器上，多路復用器輪詢到連接有I/O請求就進行處理，

一個執行緒中就可以呼叫多路復用介面（java中是select）阻塞同時監聽來自多個客戶端的IO請求，一旦有收到IO請求就呼叫對應函式處理，NIO擅長1個執行緒管理多條連接，節約系統資源，

NIO的核心實作

NIO 包含3個核心的組件：

Channel(通道)
Buffer(緩沖區)
Selector(選擇器)

關系圖的說明:

每個 Channel 對應一個 Buffer，
Selector 對應一個執行緒，一個執行緒對應多個 Channel，
該圖反應了有三個 Channel 注冊到該 Selector，
程式切換到那個 Channel 是由事件決定的（Event），
Selector 會根據不同的事件，在各個通道上切換，
Buffer 就是一個記憶體塊，底層是有一個陣列，
資料的讀取和寫入是通過 Buffer，但是需要flip()切換讀寫模式，而 BIO 是單向的，要么輸入流要么輸出流，

Channel(通道)

Channel 是 NIO 的核心概念，它表示一個打開的連接，這個連接可以連接到 I/O 設備（例如：磁盤檔案，Socket）或者一個支持 I/O 訪問的應用程式，Java NIO 使用緩沖區和通道來進行資料傳輸，

通道的主要實作類：

FileChannel類

本地檔案IO通道，用于讀取、寫入、映射和操作檔案的通道，使用檔案通道操作檔案的一般流程為：

1）獲取通道

檔案通道通過 FileChannel 的靜態方法 open() 來獲取，獲取時需要指定檔案路徑和檔案打開方式，

// 獲取檔案通道
FileChannel.open(Paths.get(fileName), StandardOpenOption.READ);

2）創建位元組緩沖區

檔案相關的位元組緩沖區有兩種，一種是基于堆的 HeapByteBuffer，另一種是基于檔案映射，放在堆外記憶體中的 MappedByteBuffer，

// 分配位元組快取
ByteBuffer buf = ByteBuffer.allocate(10);

3）讀寫操作

讀取資料

一般需要一個回圈結構來讀取資料，讀取資料時需要注意切換 ByteBuffer 的讀寫模式，

while (channel.read(buf) != -1){ // 讀取通道中的資料，并寫入到 buf 中
    buf.flip(); // 快取區切換到讀模式
    while (buf.position() < buf.limit()){ // 讀取 buf 中的資料
        text.append((char)buf.get());
    }
    buf.clear(); // 清空 buffer，快取區切換到寫模式
}

寫入資料

for (int i = 0; i < text.length(); i++) {
    buf.put((byte)text.charAt(i)); // 填充緩沖區，需要將 2 位元組的 char 強轉為 1 自己的 byte
    if (buf.position() == buf.limit() || i == text.length() - 1) { // 快取區已滿或者已經遍歷到最后一個字符
        buf.flip(); // 將緩沖區由寫模式置為讀模式
        channel.write(buf); // 將緩沖區的資料寫到通道
        buf.clear(); // 清空快取區，將緩沖區置為寫模式，下次才能使用
    }
}

4）將資料刷出到物理磁盤，FileChannel 的 force(boolean metaData) 方法可以確保對檔案的操作能夠更新到磁盤，

channel.force(false);

5）關閉通道

channel.close();

SocketChannel類

網路套接字IO通道，TCP協議，針對面向流的連接套接字的可選擇通道（一般用在客戶端），

TCP 客戶端使用 SocketChannel 與服務端進行互動的流程為：

1）打開通道，連接到服務端，

SocketChannel channel = SocketChannel.open(); // 打開通道，此時還沒有打開 TCP 連接
channel.connect(new InetSocketAddress("localhost", 9090)); // 連接到服務端

2）分配緩沖區

ByteBuffer buf = ByteBuffer.allocate(10); // 分配一個 10 位元組的緩沖區，不實用，容量太小

3）配置是否為阻塞方式，（默認為阻塞方式）

channel.configureBlocking(false); // 配置通道為非阻塞模式

4）與服務端進行資料互動

5）關閉連接

channel.close();          // 關閉通道

ServerSocketChannel類

網路通信IO操作，TCP協議，針對面向流的監聽套接字的可選擇通道（一般用于服務端），流程如下：

1）打開一個 ServerSocketChannel 通道, 系結埠，

ServerSocketChannel server = ServerSocketChannel.open(); // 打開通道

2）系結埠

server.bind(new InetSocketAddress(9090)); // 系結埠

3）阻塞等待連接到來，有新連接時會創建一個 SocketChannel 通道，服務端可以通過這個通道與連接過來的客戶端進行通信，等待連接到來的代碼一般放在一個回圈結構中，

SocketChannel client = server.accept(); // 阻塞，直到有連接過來

4）通過 SocketChannel 與客戶端進行資料互動

5）關閉 SocketChannel

client.close();

Buffer(緩沖區)

緩沖區 Buffer 是 Java NIO 中一個核心概念，在NIO庫中，所有資料都是用緩沖區處理的，

在讀取資料時，它是直接讀到緩沖區中的,在寫入資料時，它也是寫入到緩沖區中的,任何時候訪問 NIO 中的資料，都是將它放到緩沖區中，

而在面向流I/O系統中，所有資料都是直接寫入或者直接將資料讀取到Stream物件中，

Buffer 資料型別

從類圖中可以看到，7 種資料型別對應著 7 種子類，這些名字是 Heap 開頭子類，資料是存放在 JVM 堆中的，

MappedByteBuffer

而 MappedByteBuffer 則是存放在堆外的直接記憶體中，可以映射到檔案，

通過java.nio包和MappedByteBuffer允許Java程式直接從記憶體中讀取檔案內容，通過將整個或部分檔案映射到記憶體，由作業系統來處理加載請求和寫入檔案，應用只需要和記憶體打交道，這使得IO操作非常快，

Mmap記憶體映射和普通標準IO操作的本質區別在于它并不需要將檔案中的資料先拷貝至OS的內核IO緩沖區，而是可以直接將用戶行程私有地址空間中的一塊區域與檔案物件建立映射關系，這樣程式就好像可以直接從記憶體中完成對檔案讀/寫操作一樣，

只有當缺頁中斷發生時，直接將檔案從磁盤拷貝至用戶態的行程空間內，只進行了一次資料拷貝，對于容量較大的檔案來說（檔案大小一般需要限制在1.5~2G以下），采用Mmap的方式其讀/寫的效率和性能都非常高，大家熟知的RocketMQ就使用了該技術，

Buffer資料流程

應用程式可以通過與 I/O 設備建立通道來實作對 I/O 設備的讀寫操作，操作的資料通過緩沖區 Buffer 來進行互動，

從 I/O 設備讀取資料時：

1）應用程式呼叫通道 Channel 的 read() 方法；

2）通道往緩沖區 Buffer 中填入 I/O 設備中的資料，填充完成之后回傳；

3）應用程式從緩沖區 Buffer 中獲取資料，

往 I/O 設備寫資料時：
1）應用程式往緩沖區 Buffer 中填入要寫到 I/O 設備中的資料；
2）呼叫通道 Channel 的 write() 方法，通道將資料傳輸至 I/O 設備，

緩沖區核心方法

緩沖區存取資料的兩個核心方法：

1）put():存入資料到緩沖區

put(byte b)：將給定單個位元組寫入緩沖區的當前位置
put(byte[] src)：將 src 中的位元組寫入緩沖區的當前位置
put(int index, byte b)：將指定位元組寫入緩沖區的索引位置(不會移動 position)

2）get():獲取緩沖區的資料

get() ：讀取單個位元組
get(byte[] dst)：批量讀取多個位元組到 dst 中
get(int index)：讀取指定索引位置的位元組(不會移動 position)

Selector(選擇器)

Selector類是NIO的核心類，Selector（選擇器）選擇器提供了選擇已經就緒的任務的能力，

Selector會不斷的輪詢注冊在上面的所有channel，如果某個channel為讀寫等事件做好準備，那么就處于就緒狀態，通過Selector可以不斷輪詢發現出就緒的channel，進行后續的IO操作，

一個Selector能夠同時輪詢多個channel，這樣，一個單獨的執行緒就可以管理多個channel，從而管理多個網路連接，這樣就不用為每一個連接都創建一個執行緒，同時也避免了多執行緒之間背景關系切換導致的開銷，

選擇器使用步驟

1 獲取選擇器

與通道和緩沖區的獲取類似，選擇器的獲取也是通過靜態工廠方法 open() 來得到的，

Selector selector = Selector.open(); // 獲取一個選擇器實體

2 獲取可選擇通道

能夠被選擇器監控的通道必須實作了 SelectableChannel 介面，并且需要將通道配置成非阻塞模式，否則后續的注冊步驟會拋出 IllegalBlockingModeException，

SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("localhost", 9090)); // 打開 SocketChannel 并連接到本機 9090 埠
socketChannel.configureBlocking(false); // 配置通道為非阻塞模式

3 將通道注冊到選擇器

通道在被指定的選擇器監控之前，應該先告訴選擇器，并且告知監控的事件，即：將通道注冊到選擇器，

通道的注冊通過 SelectableChannel.register(Selector selector, int ops) 來完成，ops 表示關注的事件，如果需要關注該通道的多個 I/O 事件，可以傳入這些事件型別或運算之后的結果，這些事件必須是通道所支持的，否則拋出 IllegalArgumentException，

socketChannel.register(selector, SelectionKey.OP_READ | SelectionKey.OP_WRITE); // 將套接字通過到注冊到選擇器，關注 read 和 write 事件

4 輪詢 select 就緒事件
通過呼叫選擇器的 Selector.select() 方法可以獲取就緒事件，該方法會將就緒事件放到一個 SelectionKey 集合中，然后回傳就緒的事件的個數，這個方法映射多路復用 I/O 模型中的 select 系統呼叫，它是一個阻塞方法，正常情況下，直到至少有一個就緒事件，或者其它執行緒呼叫了當前 Selector 物件的 wakeup() 方法，或者當前執行緒被中斷時回傳，

while (selector.select() > 0){ // 輪詢，且回傳時有就緒事件
Set<SelectionKey> keys = selector.selectedKeys(); // 獲取就緒事件集合
.......
}

有 3 種方式可以 select 就緒事件：

1）select() 阻塞方法，有一個就緒事件，或者其它執行緒呼叫了 wakeup() 或者當前執行緒被中斷時回傳，

2）select(long timeout) 阻塞方法，有一個就緒事件，或者其它執行緒呼叫了 wakeup()，或者當前執行緒被中斷，或者阻塞時長達到了 timeout 時回傳，不拋出超時例外，

3）selectNode() 不阻塞，如果無就緒事件，則回傳 0；如果有就緒事件，則將就緒事件放到一個集合，回傳就緒事件的數量，

5 處理就緒事件
每次可以 select 出一批就緒的事件，所以需要對這些事件進行迭代，

for(SelectionKey key : keys){
if(key.isWritable()){ // 可寫事件
if("Bye".equals( (line = scanner.nextLine()) )){
socketChannel.shutdownOutput();
socketChannel.close();
break;
}
buf.put(line.getBytes());
buf.flip();
socketChannel.write(buf);
buf.compact();
}
}

從一個 SelectionKey 物件可以得到：1）就緒事件的對應的通道；2）就緒的事件，通過這些資訊，就可以很方便地進行 I/O 操作，

NIO原始碼案例

NIOServer

public static void main(String[] args) throws  Exception{
        //創建ServerSocketChannel，-->> ServerSocket
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        InetSocketAddress inetSocketAddress = new InetSocketAddress(5555);
        serverSocketChannel.socket().bind(inetSocketAddress);
        serverSocketChannel.configureBlocking(false); //設定成非阻塞
 
        //開啟selector,并注冊accept事件
        Selector selector = Selector.open();
        serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
 
        while(true) {
            selector.select(2000);  //監聽所有通道
            //遍歷selectionKeys
            Set<SelectionKey> selectionKeys = selector.selectedKeys();
            Iterator<SelectionKey> iterator = selectionKeys.iterator();
            while (iterator.hasNext()) {
                SelectionKey key = iterator.next();
                if(key.isAcceptable()) {  //處理連接事件
                    SocketChannel socketChannel = serverSocketChannel.accept();
                    socketChannel.configureBlocking(false);  //設定為非阻塞
                    System.out.println("client:" + socketChannel.getLocalAddress() + " is connect");
                    socketChannel.register(selector, SelectionKey.OP_READ); //注冊客戶端讀取事件到selector
                } else if (key.isReadable()) {  //處理讀取事件
                    ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
                    SocketChannel channel = (SocketChannel) key.channel();
                    channel.read(byteBuffer);
                    System.out.println("client:" + channel.getLocalAddress() + " send " + new String(byteBuffer.array()));
                }
                iterator.remove();  //事件處理完畢，要記得清除
            }
        }
 
    }

NIOClient

public class NIOClient {
 
public static void main(String[] args) throws Exception{
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.configureBlocking(false);
        InetSocketAddress inetSocketAddress = new InetSocketAddress("127.0.0.1", 5555);
 
        if(!socketChannel.connect(inetSocketAddress)) {
            while (!socketChannel.finishConnect()) {
                System.out.println("客戶端正在連接中，請耐心等待");
            }
        }
 
        ByteBuffer byteBuffer = ByteBuffer.wrap("mikechen的互聯網架構".getBytes());
        socketChannel.write(byteBuffer);
        socketChannel.close();
}
}

以上

作者簡介

陳睿|mikechen,10年+大廠架構經驗,《BAT架構技術500期》系列文章作者，分享十余年BAT架構經驗以及面試心得!

閱讀mikechen的互聯網架構更多技術文章合集

Java并發|JVM|MySQL|Spring|Redis|分布式|高并發|架構師

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/501878.html

標籤：Java

上一篇：Servlet和Jsp簡介

下一篇：一文說透kafka底層架構