Node.js架構剖析-有解無憂

原文鏈接： http://www.ayqy.net/blog/node-js-architecture-overview/

一.Node.js 締造的傳奇

I have a job now, and this guy is the reason why I have that now. His hobby project is what I use for living. Thanks. —— Shajan Jacob

2009 年 Ryan Dahl 在JSConf EU大會上推出了 Node.js，最初是希望能夠通過異步模型突破傳統 Web 服務器的高并發瓶頸，之后愈漸發展成熟，應用越來越廣，出現了繁榮的 Node.js 生態

借助 Node.js 走出瀏覽器之后，JavaScript 語言也一發不可收拾：

Any application that can be written in JavaScript, will eventually be written in JavaScript. —— Jeff Atwood

（摘自The Principle of Least Power）

早在 2017 年，NPM 就憑借茫茫多的社區模塊成為了世界上最大的 package registry，目前模塊數量已經超過 125 萬，并且仍在快速增長中（每天新增900多個）

甚至 Node.js 工程師已經成為了一種新興職業，那么，帶有傳奇色彩的 Node.js 本身是怎么實作的呢？

二.Node.js 架構概覽

JS 代碼跑在 V8 引擎上，Node.js 內置的fs、http等核心模塊通過 C++ Bindings 呼叫 libuv、c-ares、llhttp 等 C/C++類別庫，從而接入作業系統提供的平臺能力

其中，最重要的部分是V8和libuv

三.原始碼依賴

V8

V8 is Google’s open source high-performance JavaScript and WebAssembly engine, written in C++. It is used in Chrome and in Node.js, among others.

一個用 C++寫的 JavaScript 引擎，由 Google 維護，用于 Chrome 瀏覽器和 Node.js

libuv

libuv is cross-platform support library which was originally written for Node.js. It’s designed around the event-driven asynchronous I/O model.

為 Node.js 量身打造，用 C 寫的跨平臺異步 I/O 庫，提供了非阻塞的檔案系統、DNS、網路、子行程、管道、信號、輪詢和流式處理機制：

對于無法在作業系統層面異步去做的作業，通過執行緒池來完成，如檔案 I/O、DNS 查詢等，具體原因見Complexities in File I/O

P.S.執行緒池的容量可以配置，默認是 4 個執行緒，具體見Thread pool work scheduling

此外，Node.js 中的事件回圈、事件佇列也都是由 libuv 提供的：

Libuv provides the entire event loop functionality to NodeJS including the event queuing mechanism.

具體運作機制如下圖：

其它依賴庫

另外，還依賴一些 C/C++庫：

llhttp：用 TypeScript 和 C 寫的輕量級 HTTP 決議庫，比之前的http_parser快 1.5 倍，不含任何系統呼叫和記憶體分配（也不快取資料），因此每個請求的記憶體占用極小
c-ares：一個 C 庫，用來處理異步的 DNS 請求，對應 Node.js 中dns模塊提供的resolve()系列方法
OpenSSL：一個通用的加密庫，多用于網路傳輸中的 TLS 和 SSL 協議實作，對應 Node.js 中的tls、crypto模塊
zlib：提供快速壓縮和解壓支持

P.S.關于 Node.js 原始碼依賴的更多資訊，見Dependencies

四.核心模塊

像瀏覽器提供的 DOM/BOM API 一樣，Node.js 不僅提供了 JavaScript 運行時環境，還擴展出了一系列平臺 API，例如：

檔案系統相關：對應fs模塊
HTTP 通信：對應http模塊
作業系統相關：對應os模塊
多行程：對應child_process、cluster模塊

這些內置模塊稱為核心模塊，為邁出瀏覽器世界的 JavaScript 長上了手腳

五.C++ Bindings

在核心模塊之下，有一層 C++ Bindings，將上層的 JavaScript 代碼與下層 C/C++類別庫橋接起來

底層模塊為了更好的性能，采用 C/C++實作，而上層的 JavaScript 代碼無法直接與 C/C++通信，因而需要一個橋梁（即 Binding）：

Bindings, as the name implies, are glue codes that “bind” one language with another so that they can talk with each other. In this case (Node.js), bindings simply expose core Node.js internal libraries written in C/C++ (c-ares, zlib, OpenSSL, llhttp, etc.) to JavaScript.

另一方面，通過 Bindings 也可以復用可靠的老牌開源類別庫，而不必手搓所有底層模塊

以檔案 I/O 為例，讀取當前 JS 檔案內容并輸出到標準輸出：

// readThisFile.js
const fs = require('fs')
const path = require('path')
const filePath = path.resolve(__filename);

// Parses the buffer into a string
function callback (data) {
  return data.toString()
}

// Transforms the function into a promise
const readFileAsync = (filePath) => {
  return new Promise((resolve, reject) => {
    fs.readFile(filePath, (err, data) => {
      if (err) return reject(err)
      return resolve(callback(data))
    })
  })
}

(() => {
  readFileAsync(filePath)
    .then(console.log)
    .catch(console.error)
})()

然而，其中用到的fs.readFile介面既不是 V8 提供的，也不是 JS 自帶的，而是由 Node.js 以 C++ Binding 的形式借助 libuv 實作的：

// <https://github.com/nodejs/node/blob/v14.0.0/lib/fs.js#L58>
const binding = internalBinding('fs');
// <https://github.com/nodejs/node/blob/v14.0.0/lib/fs.js#L71>
const { FSReqCallback, statValues } = binding;

// <https://github.com/nodejs/node/blob/v14.0.0/lib/fs.js#L297>
function readFile(path, options, callback) {
  callback = maybeCallback(callback || options);
  options = getOptions(options, { flag: 'r' });
  if (!ReadFileContext)
    ReadFileContext = require('internal/fs/read_file_context');
  const context = new ReadFileContext(callback, options.encoding);
  context.isUserFd = isFd(path); // File descriptor ownership

  const req = new FSReqCallback();
  req.context = context;
  req.oncomplete = readFileAfterOpen;

  if (context.isUserFd) {
    process.nextTick(function tick() {
      req.oncomplete(null, path);
    });
    return;
  }

  path = getValidatedPath(path);
  const flagsNumber = stringToFlags(options.flags);
  binding.open(pathModule.toNamespacedPath(path),
              flagsNumber,
              0o666,
              req);
}

最后的binding.open是一個 C++呼叫，用來打開檔案描述符，三個引數分別是檔案路徑，C++ fopen的檔案訪問模式串（如r、w+），以及八進制格式的檔案讀寫權限（666表示每個人都有讀寫權限），和接識訓傳資料的req回呼

其中，internalBinding是個 C++ binding loader，internalBinding('fs')實際加載的 C++代碼位于node/src/node_file.cc

至此，關鍵的部分差不多都清楚了，那么，一段 Node.js 代碼究竟是怎樣運行的呢？

六.運行原理

首先，撰寫的 JavaScript 代碼由 V8 引擎來運行，運行中注冊的事件監聽會被保留下來，在對應的事件發生時收到通知

網路、檔案 I/O 等事件產生時，已注冊的回呼函式將排到事件佇列中，接著被事件回圈取出放到呼叫堆疊上，回呼函式執行完（呼叫堆疊清空）之后，事件回圈再取一個放上去……

執行程序中遇到 I/O 操作就交給 libuv 執行緒池中的某個 woker 來處理，結束之后 libuv 產生一個事件放入事件佇列，事件回圈處理到回傳事件時，對應的回呼函式才在主執行緒開始執行，主執行緒在此期間繼續其它作業，而不阻塞等待

Node.js 就像一家咖啡館，店里只有一個跑堂的（主執行緒），一大堆顧客涌過來的時候，會排隊等候（進入事件佇列），到號的顧客訂單會被傳給經理（libuv），經理將訂單分配給咖啡師（worker 執行緒），咖啡師用不同的原料和工具（底層依賴的 C/C++模塊）來制作訂單要求的各種咖啡，一般會有 4 個咖啡師值班，高峰時候可能會增加一些，訂單傳給經理后，不等咖啡做出來，而是接著處理下一個訂單，一杯咖啡做完之后，放到出餐流水線（IO Events 佇列），送達前臺后，跑堂的喊名字，顧客過來取

參考資料

Node.js Under The Hood #1 – Getting to know our tools
Original slides from Ryan Dahl’s NodeJs intro talk
An Introduction to libuv
Dependencies
Architecture of Node.js’ Internal Codebase
Event Loop and the Big Picture — NodeJS Event Loop Part 1

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/255180.html

標籤：其他

上一篇：Salesforce 收購分析一覽圖

下一篇：LNMP部署及應用