試用GO開發pyhton編譯器:位元組碼基礎

掌握一門編程語言最好的辦法或許是將它的編譯器設計出來，毫無疑問那些開發Python編譯器的人應該是世界上對Python了解最深刻的人群之一，我用python開發過不少程式，但是每次反思或復盤的時候總是感覺對Python的認知還不到位，由此也看了很多講Python的書，但看的時候感覺好像懂了，但過了一段時間后又忘了，也就是說單純看書很難將某一項技術完全內化，當然技能的掌握必然要從實踐中來，但是我發現在使用Python開發程式時，我總是使用它的一部分功能就夠了，或者說居于我的思維模式限制，我在使用python開發時總是落入一個套路，這使得我只能掌握python技術的冰山一角，就如同井底之蛙一樣只了解一小塊內容，為了能夠打破認知局限，讓我自己能更全面的對python的設計原理有更深入的了解，我打算嘗試做一個能運行的python編譯器，

我在標題中使用了”試用”，也就是這是一個嘗試性質，編譯器的技術難度足夠大，我不清楚能做到哪一步，所以采取了走一步看一步的方式，能做多少就多少，也有可能嘗試后發現太難而做不下去，因此是”試用“的由來，

我計劃用Go語言來實作python編譯器，這樣完成這個專案后我們能識訓一箭雙雕的好處，一是掌握如何使用GO來開發一個復雜程式，一是對python的設計原理能有深入的了解和掌握，首先我們來嘗試做一個簡單的，基于堆疊的虛擬機，后面我們會把python編譯成位元組碼，然后在我們設計的虛擬機上運行，這個程序跟java類似，

對虛擬機而言，首先需要位元組碼，它們是針對虛擬機的一系列操作指令，例如push 1, push 2, add,這三條位元組碼會把數值1，2壓入虛擬機，然后彈出堆疊頂的兩個數值進行相加，把相加結果放到堆疊的頂部，如下圖所示：

首先我們要實作的是位元組碼，所謂位元組碼就是一個操作指令，后面跟著0個或1個運算元，例如push 1, add等，每個操作指令用一個數值表示，一旦虛擬機讀取到對應的數值時就執行相應操作，如果我們使用0x01表示push，那么當虛擬機讀取到數字0x01時，它就會把跟在這個指令后面的4個位元組對應的數值壓入堆疊，

我們先創建一個檔案夾叫GO_Python，然后在里面再創建一個檔案夾叫code,接著創建檔案code.go，它對應位元組碼的實作代碼，我們先完成一些基本定義：

package code 

import (
	"encoding/binary"
	"fmt"
)

type Instructions [] byte //位元組碼集合

type Opcode byte  //操作碼

const (
	opConstant opcode = iota
	OpPop  //彈出堆疊
	OpAdd  //將堆疊頂兩個數彈出并相加，把結果壓入堆疊
	OpSub
	OpMul 
	OpDiv
	//后面還有更多操作碼需要定義
)

假設我們把python代碼編譯成位元組碼后，它們就對應Instructions，在位元組碼中有一些位元組代表了特定操作，例如push, add, sub等，這些操作就對應操作碼，操作碼可以使用不同的數值來區分，因此代碼中定義了列舉型別數值來對應操作碼，注意到操作碼的型別為byte，這意味著我們的虛擬機最多支持128種不同操作，

我們還需要對操作碼做進一步描述，例如給定操作碼OpPop后，我們希望能找到它對應的字串，例如"POP"，同時不同操作碼其實對應不同的運算元，例如OpAdd就對應兩個運算元，所有這些資訊我們都需要以代碼的方式記錄下來，因此我們繼續添加如下定義：

type Definition struct {
	Name string //操作碼對應的字串
	OperandWidths [] int //運算元對應的位元組數
}

var definitions = map[Opcode]*Definition {
	OpConstant: {"OpConstant", []int{2}},
}

func Lookup(op byte) (*Definition, error ) {
	//給定操作碼，回傳它對應的資訊定義
	def, ok := definitions[Opcode(op)]
	if !ok {
		return nil, fmt.Errorf("opcode %d undefined", op)
	}

	return def, nil
}

代碼中需要說明的一點是operandWidths，它對應運算元的位元組長度，例如對于運算式 255 + 1,我們需要使用操作碼opAdd將兩個數值彈出，然后相加，由于255對應兩個位元組，1對應1個位元組，于是對應的definition就是{“OpAdd", []{2, 1}}，由此我們可以理解上面代碼中操作碼"OpConstant"對應的運算元有2個位元組的長度，OpConstant運算子的作用是在一個常量陣列中查找對應陣列，它的運算元就是陣列下標，我們會把代碼中所定義的一切常量都放入到一個特定的常量陣列中，相關內容后續我們會進一步解釋，

接下來我們看如何將操作碼以及運算元轉換成一條可以被虛擬機執行的指令，所謂”指令“其實就是byte陣列，陣列的第一個位元組對應運算子的數值，后續位元組對應運算元的內容，假設有一條位元組碼為 OpConstant 65534, 那么將它轉換為指令時，第一個位元組就對應操作碼OpConstant的數值，也就是0，接下來就對應運算元的位元組內容，由于65534拆解成兩個最位元組就是0xFF, 0xFE,于是這條操作碼轉換為”指令“后就是[]byte{0x0, 0xFF, 0xFE}, 我們看對應的代碼實作：

func Make(op Opcode, operands ...int) []byte {
	//給定操作碼，創建位元組碼指令
	def , ok := definitions[op]
	if !ok {
		return []byte{}
	}

	//一條指令的位元組長度包括操作碼對應的長度加上運算元對應的長度
	instructionLen :=1  //操作碼長度始終為1
	for _, w := range def.OperandWidths {
		instructionLen += w 
	}
    //一條指令由一系列位元組組成,第一個位元組就是操作碼，接下來的位元組對應運算元
	instructions := make([]byte, instructionLen) 
	instructions[0] = op //設定操作碼對應的位元組
	offset := 1
	for i, o := range operands {
		width := def.OperandWidths[i]
		switch width {
		case 2:
			//把一個16位元數,也就是uint16型別的數值拆解成2個byte放到陣列中
			binary.BigEndian.PutUint16(instruction[offset:], uint16(o))
		}
		offset += width 
	}

	return instruction
}

于是當我們的虛擬機在執行指令[]byte{0x0, 0xFF, 0xFE}時，它發現第一個位元組為0，于是它就知道要執行OpConstant操作，也就是要從常量陣列中把對應的內容拿出來，同時根據definitions結構體可以知道，對應的運算元有兩個位元組，于是它把接下來的兩個位元組也就是0xFF,0xFE組合起來稱為一個運算元，也就是獲得了65534這個數值，然后將65534作為陣列的下標，從常量陣列中把下標為65534的元素取出來，

最好的學習方式就是即時反饋，所以我們有了一些代碼后，要盡快把它們運行起來，看看執行結果，這樣我們才能通過實驗來驗證邏輯或者是清除頭腦中的疑惑，如果沒有即時反饋，那么我們很快就會因為困惑積累過多而放棄努力，因此我們將以測驗的方式把上面代碼跑起來，在同一目錄下創建明文code_test.go的檔案，在里面添加測驗代碼如下：

package code 
import "testing"

func TestMake(t *testing.T) {
	tests := []struct {
		op Opcode 
		operands []int 
		expected []byte 
	} {
		{OpConstant, []int{65534}, []byte{0x0, 0xFF, 0xFE}},
	}

	for _, tt := range tests {
		instruction := Make(tt.op, tt.operands...)
		if len(instruction) != len(tt.expected) {
			t.Errorf("instruction has wrong length. want=%d, got=%d",
		len(tt.expected), len(instruction))
		}

		for i , b := range tt.expected {
			if instruction[i] != tt.expected[i] {
				t.Errorf("wrong byte at pos %d, want=%d, got = %d", i, b, instruction[i])
			}
		}
	}
}

完成上面代碼后，進入到code目錄然后執行：

go  test

這樣就能將測驗用例跑起來，通過結果可以看到用例能通過，也就是Make函式準確的將操作碼及其對應的運算元轉換成了一條指令位元組陣列，為了好消化，我們一次不要搞太多，先在這里停止，

完整代碼請查看GitHub