高日耀 資深資料庫內核研發

畢業于華中科技大學，喜歡研究主流資料庫架構和原始碼，并長期從事分布式資料庫內核研發，曾參與分布式 MPP 資料庫 CirroData 內核開發（東方國信），現主要負責 MySQL 系列產品內核開發（青云科技），

筆者曾做過資料庫 Data Type 相關的設計和從 0 到 1 的原始碼實作，對 Numeric（與 Decimal 等價，都是標準 SQL 的一部分）, Datetime, Timestamp, varchar … 等資料型別的設計、原始碼實作及在記憶體中計算原理有比較深的理解，

本篇基于 PostgreSQL 原始碼，決議 PostgreSQL 中 Numeric 型別的記憶體計算結構和磁盤存盤結構，

c 原始碼 ：https://github.com/postgres/postgres/blob/master/src/backend/utils/adt/numeric.c

頭檔案：https://github.com/postgres/postgres/blob/master/src/include/utils/numeric.h

| 精度的要求

在編程的程序中，大家可能對內置的 4 位元組 float 和 8 位元組 doulbe 型別比較熟悉，進行加減乘除運算，雖然浮點數是通過科學計數法來存盤，但在二進制和十進制互相轉換機制中，對一部分二進制數，其精度是有缺失的，

對于類似金融場景，動輒存盤巨大的數值，以及對資料精度的高要求，哪怕再小的精度損失都是不可接受的，市面上各式各樣的資料庫基本都包含 Numeric 型別，通過字串來精確存盤每一位數，做到浮點數都做不到的精確計算，

| Numeric 語法簡介

NUMERIC(precision, scale)

• precision：numeric 中全部數字個數的總和
• scale：小數點后面的數字個數

例如：12.345，那么 precision 是 5、scale 是 3，

注意事項：

1. 所有的整數都可以看成 scale 為 0 的 numeric；
2. precision 必須為正數，scale 可以為 0 或者正數；
3. numeric(precision) 語法，默認的 scale 是 0；
4. 語法中不帶任何引數，則任意 precision 和 scale 的值都可以被存盤，只要不超過 precision 的最大值；
5. 只要 numeric 中宣告了 scale，則輸入的值都要強制的去匹配這個 scale（即進行 round 操作，round 為四舍五入）；
6. 如果輸入的 scale 數值溢位，則報錯，

不指定精度的情況時各數值型別的取值范圍【常見】：

| Numeric 特殊值

除了正常的數值之外，numeric 還支持特殊的值：NaN（ meaning "not-a-number"），當要將其當做常量用于 SQL 中時，需要打上引號，例如：

UPDATE table SET x = 'NaN'

| SQL 中 Numeric 資料流向

我們知道，一條 SQL 在資料庫中的執行流程大致為：

CREATE TABLE test (
    name VARCHAR(100) NOT NULL,
    price NUMERIC(5,2)
);

INSERT INTO test (name, price)
VALUES ('Phone',500.215), 
       ('Tablet',500.214);

以上述示例兩條 SQL 為例，先建一張 test 表，并插入資料，這里我們關注寫入的 Numeric 數字在記憶體中是如何表示，定義的 NUMERIC(5,2) 對應的資料結構在記憶體中如何表示，寫入的資料在落入磁盤之后，其存盤結構又是什么樣的，

這里，資料在記憶體中的存盤結構和落盤時的存盤結構是不一樣的，最終落盤時需要去掉記憶體中所占用的無效位元組的，比如，varchar(100)，假如在記憶體中分配 100 個位元組，而實際只寫入 “abc” 三個位元組，那么它所分配的記憶體是 100 個位元組，而落盤時沒有用到的 97 個位元組是要去掉的，最后3個位元組寫入磁盤時，還要做資料壓縮，大家可以設想一下，如果記憶體中的存盤結構不做任何處理直接寫入到磁盤，如果資料量非常大，那會多浪費磁盤空間！

| Numeric 磁盤存盤結構決議

結構體 NumericData 是最終落到磁盤上的結構，如下，可以看到 NumericData 包含了 NumericLong 和 NumericShort 的 union 欄位：

struct NumericLong
{
        uint16          n_sign_dscale;  /* Sign + display scale */
        int16           n_weight;               /* Weight of 1st digit  */
        NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};

struct NumericShort
{
        uint16          n_header;               /* Sign + display scale + weight */
        NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};

union NumericChoice
{
        uint16          n_header;               /* Header word */
        struct NumericLong n_long;      /* Long form (4-byte header) */
        struct NumericShort n_short;    /* Short form (2-byte header) */
};

struct NumericData
{
        int32           vl_len_;                /* varlena header (do not touch directly!) */
        union NumericChoice choice; /* choice of format */
};

結構體 NumericLong

struct NumericLong
{
        uint16          n_sign_dscale;  /* Sign + display scale */
        int16           n_weight;               /* Weight of 1st digit  */
        NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};

uint16 n_sign_dscale：第一個位元組中高兩位 bit 用于保存正負號，

若為 0x0000：則符號位正

若為 0x4000：則符號位負

若為 0xC000：則為 NaN

剩余的 14 個 bit 用來保存 display scale（終端界面可顯示的范圍）

int16 n_weight ：保存權值，這里要解釋下權值在這里的含義，在這里 numeric 是用一組 int16 陣串列示的，每一個元素用 int16 表示4位數字，也就是最大保存9999，那么基數 base 值就是 10000，這里的權值的 base 值就是 10000（10 進制的權值 base 值是 10，二進制是 2），

NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER] ：動態陣列（也有叫柔性陣列的，在這里統一稱動態陣列吧），是 C99 之后添加的一個特性，這個特性是在這個結構體中，動態陣列并不占用任何空間，其長度由 NumericData 中的 vl_len_ 決定，

這里看到有 long 和 short 兩個結構體，對于早期的 PostgreSQL 版本，使用的是 long 的存盤方式，后面進行了優化，改進成 short 的存盤方式，改進之后的版本為了保持向前兼容，能依然讀取之前版本存盤的資料，保留了 long 型別的存盤方式，

結構體 NumericShort

struct NumericShort
{
        uint16          n_header;               /* Sign + display scale + weight */
        NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};

uint16 n_header ：保存符號、dynamic scale和權值的信息，

若為 0xC000 則意味著該 Numeric 為 NaN

剩余的 14 個 bit 中，1 個用來保存符號，6 個保存 dynamic scale，7個用來保存權值 weight，

NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER] ：參考上文柔性陣列描述，

聯合體 NumericChoice

union NumericChoice
{
        uint16          n_header;               /* Header word */
        struct NumericLong n_long;      /* Long form (4-byte header) */
        struct NumericShort n_short;    /* Short form (2-byte header) */
};

uint16 n_header ：這個占兩個位元組的變數包含有很多資訊，如果 n_header 第一個位元組最高兩個 bit 位的值為：

0x8000：則采用 NumericShort 存盤格式

0xC000：則為 NaN

除此之外，則采用 NumericLong 存盤格式，

結構體 NumericData

struct NumericData
{
        int32           vl_len_;                /* varlena header (do not touch directly!) */
        union NumericChoice choice; /* choice of format */
};

int32 vl_len_ ：用來保存動態陣列的長度，這個陣列是 NumericLong 或者 NumericShort 結構體中定義的動態陣列，

| Numeric 記憶體計算結構決議

typedef struct NumericVar
{
        int                     ndigits;                /* # of digits in digits[] - can be 0! */
        int                     weight;                 /* weight of first digit */
        int                     sign;                   /* NUMERIC_POS, NUMERIC_NEG, or NUMERIC_NAN */
        int                     dscale;                 /* display scale */
        NumericDigit *buf;                      /* start of palloc'd space for digits[] */
        NumericDigit *digits;           /* base-NBASE digits */
} NumericVar;

NumericVar 是用來做算術運算的格式，在 digit-array 部分同存盤格式一樣，但是在 header 部分更復雜，下面分別作分析：

• buf：指向實際為 NumericVar 申請的記憶體 start 位置
• digits：指向實際使用時的第一個數字的位置（這里的元素是 int16，非 0）
  • buf 跟 digts 之間一般預留一到兩個元素（int16）作為可能的 carry （進位）用，當然，考慮到實際 numeric 中 leading 部分可能有好多 0，意味著 buf 跟 digits 之間可以相隔好多個元素
• dscale：display scale 的縮寫，表示 numeric 小數點后有多少個十進制數
  • 就目前的版本，總是 >=0，dscale 的值可能比實際存盤的小數位數要大，這意味多出來的部分是 0（trailing zeros），同時也意味著在寫入磁盤時，是不會把無意義的 0 寫進去的（節約磁盤空間）
• rscale：這里提一個在函式計算時用到的變數，result scale 的縮寫，保存目標計算結果的精度，總是 >=0
  • rscale 并不保存在 NumericVar 中，實際值是根據輸入的 dscales 確定的
• sign：標記正負號或者 NAN
• weight：權值，權值是進制的（位數 -1）冪
  • 比如 9999 9999 9999.9999，占用三個 int16，權值是 2（原理跟 10 進制權值一樣的演算法，只是 int16 的基數值是 10000）
• ndigits：在 digits[ ] 陣列中的 int16 的個數

| 下期預告

以上對 PostgreSQL 中 Numeric 型別的磁盤存盤結構和記憶體計算結構做了初步決議，

下一篇將基于本篇的記憶體計算結構，進一步剖析 Numeric 加減乘等數學運算在代碼中的實作原理，通過數學公式剖析二進制、十進制相互轉化之后為何只會無限逼近，不會相等，會帶來精度損失的問題，后續繼續決議 MySQL / Oracle 中 Numeric 型別的設計和原始碼實作，

標籤：其他

上一篇：[20210930]bbed讀取資料塊7 fffext.sh.txt

下一篇：HBase 與 Cassandra 架構對比分析的經驗分享