理解 nodeJS 中的 buffer，stream

在Node.js開發中，當遇到 buffer，stream，和二進制資料處理時，你是否像我一樣，總是感到困惑？這種感覺是否會讓你認為不了解它們，以為它們不適合你，認為而這些是Node.js作者們的事情？

確實，這些東西可能非常令人生畏，尤其是當你在缺乏計算機底層基礎知識，進行相關的開發，

 可悲的是，許多教程和書籍直接告訴你如何使用 Node.js 包開發 Web 應用程式，而沒有讓你了解 Node.js 的核心功能以及它們存在的原因，有些人會地告訴你，你不需要了解它們，因為你可能永遠不會直接用到這些，

沒錯，如果你選擇做一名普通開發人員，可能永遠不會用到他們，

如果你對這些內容存在疑問，你想理解 Node.js 的許多核心功能，比如 buffer...這就是我寫本篇文章的原因，這是為了幫助我們揭開其中一些功能的神秘面紗，并使我們對 Node.js 的學習更上一層樓，

 官方的 Node.js 檔案部分說明：

 JavaScript 語言沒有讀取或操作二進制資料流的機制， Buffer 類被引入作為 Node.js API 的一部分，使其可以在 TCP 流或檔案系統操作等場景中處理二進制資料流，

嗯，除非你對上述句子中的描述有相關的知識和經驗，否則它們可能只是一堆術語，

我們簡化一下這些解釋，以便我們可以更好的理解他們，官方的描述可以總結為一句話：buffer 能夠與二進制資料流進行互動操作，

但是 buffer，stream，二進制資料，仍然有很多不理解的地方， 好吧，我們嘗試解決這些重要的問題，

 二進制資料是什么？

 你可能已經知道計算機是以二進制形式存盤和表示資料，二進制只是一個1或0的集合，例如，以下是五個不同的二進制檔案，5個不同的1和0集：

10，01，001，1110，00101011

 二進制中的每個數字，0或1叫做位(bit)，也就是Binary digIT 的縮寫，

為了能夠存盤和表示這些資料，計算機需要將資料轉換為二進制形式，比如，要存盤數字12，計算機需要將12轉化為二進制 1100

計算機怎么知道要如何去轉換？這就完全是一個數學問題了，計算機是知道怎么去處理的，有興趣的可以自己查閱，

但是我們日常作業的資料型別不僅僅是數字，我們還有字串，影像，視頻...計算機知道如何用二進制表示所有型別的資料的，讓我們以字串為例，計算機如何用二進制表示字串“ L”？為了將字符存盤為二進制形式，計算機首先將該字符轉換為數字，然后將該數字轉換為二進制表示，因此，對于字串“ L”， 計算機首先將L轉換為代表L的數字，讓我們看如何操作：

打開瀏覽器控制臺，粘貼以下代碼段："L".charCodeAt(0)，按 Enter，你看到了什么？數字76？這就是字母L的數字編碼，但是計算機怎么知道具體哪個數字代表那個字母呢？如何知道數字76表示L？

 字符集

字符集是已經定義的一套規則，明確指出每個數字代表的字符，這些規則有不同的定義，流行的規則包括 Unicode 和 ASCII，JavaScript 在 Unicode 字符集方面的表現非常好，實際上，在瀏覽器中，它是 Unicode（可以嘗試其他字符集），指出76表示大寫“L”，

我們已經了解了計算機如何用數字表示字符，現在，計算機將依次將數字76表示為其二進制形式，你可能會認為，只需將76轉換為以2為底的數字系統，沒那么快！

 字符編碼

 就像字符集規則定義那些數字代表那些字符一樣，也有一些規則定義了如何使用二進制形式中表示該數字，具體來說，就是使用多少位來表示數字，這就是字符編碼，

我們常見字符編碼之一是 UTF-8，UTF-8 規定字符以位元組表示，一個位元組是8位(bit)，即8個1和0表示一個位元組，所以，用8個1和0組成的二進制序列，來表示和存盤任意的一個字符，

為了更好的理解，舉個例子： 比如之前提到的12的二進制表示是1100， 所以，使用 UTF-8 的格式來表示，應該使用一個位元組，也就是8位來完整表示，也即00001100， 沒有錯吧？

因此，76在計算機中的存盤形式應該是01001100，

這就是計算機將字符存盤成二進制的方式，當然，計算機也有一些特殊規則，將圖片、視頻等存盤為二進制的，總之，計算機會將無論圖片、視頻或其他資料都轉換為二進制并存盤，這就是我們說的二進制資料，

如果你對字符編碼非常感興趣，那你可以參考一下這篇文章

 Stream

 在Node.js中，流(stream)就是一系列從A點到B點移動的資料，完整點的說，就是當你有一個很大的資料需要傳輸、搬運時，你不需要等待所有資料都傳輸完成才開始下一步作業，

實際上，大型資料會被分割成小塊(chunks)進行傳輸，所以，buffer 的原始定義中所說的(“streams of binary data… in the context of… file system”)意思就是說二進制資料在檔案系統中的傳輸，比如，將 file1.txt 的文字存盤到 file2.txt 中，

但是，buffer 到底在流(stream)中，是如何操作二進制資料的？buffer 到底是什么呢？

 Buffer

 我們已經知道資料流(stream of data)是從一個地方向另一個地方傳輸資料的程序，但是這個具體是怎么樣的一個程序？

通常情況下，我們傳輸資料往往是為了讀取它，處理它，或者基于這些資料做一些其他操作，但是，在每次傳輸程序中，有一個資料量的問題，因此當獲取到資料的時間比處理資料理的時間快時，我們處理資料就需要等待了，

這個”等待區域”就是 buffer! 它是電腦上的一個很小的物理地址，一般在記憶體中，資料在這里暫時存盤，等待，最后在流(stream)中，發送出去并處理，比如說和顯卡相關的 webgl 處理就是一個例子，

我們可以把整個流(stream)和 buffer 的配合程序看作公交站，在一些公交站，公車在沒有裝滿乘客前是不會發車的，或者在特定的時刻才會發車，當然，乘客也可能在不同的時間，人流量大小也會有所不同，有人多的時候，有人少的時候，乘客或公交站都無法控制人流量，

不論何時，早到的乘客都必須等待，直到公車接到指令可以發車，當乘客到站，發現公車已經裝滿，或者已經開走，他就必須等待下一班車次，

總之，這里總會有一個等待的地方，這個等待的區域就是 Node.js 中的 Buffer，Node.js 不能控制資料什么時候傳輸過來，傳輸速度，就好像公交車站無法控制人流量一樣，他只能決定什么時候發送資料，如果時間還不到，那么 Node.js 就會把資料放入 buffer（等待區域）中，一個在記憶體中的地址，直到把他們發送出去進行處理，

一個關于 buffer 很典型的例子，就是你在線看視頻的時候，如果你的網路足夠快，資料流(stream)就可以足夠快，可以讓 buffer 迅速填滿然后發送和處理，然后處理另一個，再發送，再另一個，再發送，然后整個 stream 完成，

但是當你網路連接很慢，當處理完當前的資料后，你的播放器就會暫停，或出現”緩沖”(buffer)字樣，意思是正在收集更多的資料，或者等待更多的資料到來，才能下一步處理，當buffer裝滿并處理好，播放器就會顯示資料，也就是播放視頻了，在播放當前內容的時候，更多的資料也會源源不斷的傳輸、到達和在 buffer 等待，

 這就是 buffer！

 從原始的定義，我們知道，buffer 可以在 stream 中與二進制資料進行互動和操作，那么到底可以進行什么樣的操作呢？在 Node.js 中又應該如何進行剛才所描述的一些東西呢？我們來瞧一瞧，

與 buffer 互動

你可以創建自己的緩沖區！在 stream 中，Node.js 會自動幫你創建 buffer 之外，你可以創建自己的 buffer 并操作它，是不是很有趣？ 我們來創建一個！

根據不同的需求，可以使用不同的方法來創建緩沖區，

// 創建一個大小為 10 的空 buffer
// 這個 buffer 只能承載10個位元組的內容

const buf1 = Buffer.alloc(10);

// 根據內容直接創建 buffer
const buf2 = Buffer.from("hello buffer");

創建緩沖區后，就可以操作了

// 檢查下buffer的結構

buf1.toJSON()
// { type: 'Buffer', data: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] }

// 一個空的 buffer
buf2.toJSON()

// { type: 'Buffer', data: [104, 101, 108, 108, 111, 32, 98, 117, 102, 102, 101, 114] }
// the toJSON() 方法可以將資料進行 Unicode 編碼并展示

// 檢查 buffer 的大小

buf1.length // 10

buf2.length // 12 根據資料自動填充并創建

// 寫入資料到 buffer
buf1.write("Buffer really rocks!")

// 解碼buffer

buf1.toString() // 'Buffer rea'

// 對不起，因為buf1只能承載10個位元組的內容，所有多處的東西會被截斷

我們可以使用 buffer 進行更多操作，前往官方檔案，進一步了解這些方法，

最后，我將面臨這個小挑戰：仔細閱讀 Node.js 的核心庫之一 zlib.js 的源代碼，以了解它如何利用 buffer 的功能來操作二進制資料流，處理后，最后變成gziped檔案， 當你在閱讀的時候，記錄下你的學習經歷并在評論中分享下來吧，

希望本文能幫助你更好地了解 Node.js Buffer，

如果你覺得這篇文章不錯，而其他人也有機會看到這一點，點個贊吧，以幫助其他人更好地理解 Buffer，

原文

標籤：JavaScript

上一篇：JavaScript-EventLoop-事件回圈

下一篇：ES6 class