背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. KVM版本：5.9.1
2. QEMU版本：5.0.0
3. 工具：Source Insight 3.5， Visio
4. 文章同步在博客園：https://www.cnblogs.com/LoyenWang/

1. 概述

• 從本文開始將開始source code的系列分析了；
• KVM作為內核模塊，可以認為是一個中間層，向上對接用戶的控制，向下對接不同架構的硬體虛擬化支持；
• 本文主要介紹體系架構初始化部分，以及向上的框架；

2. KVM初始化

• 貝多芬曾經說過，一旦你找到了代碼的入口，你就扼住了軟體的咽喉；
• 我們的故事，從module_init(arm_init)開始，代碼路徑：arch/arm64/kvm/arm.c；

老規矩，先來一張圖（圖片中涉及到的紅色框函式，都是會展開描述的）：

• 內核的功能模塊，基本上的套路就是：1）完成模塊初始化，向系統注冊；2）回應各類請求，這種請求可能來自用戶態，也可能來自例外回應等；
• kvm的初始化，在kvm_init中完成，既包含了體系結構相關的初始化設定，也包含了各類回呼函式的設定，資源分配，以及設備注冊等，只有當初始化完成后，才能回應各類請求，比如創建虛擬機等；
  1. 回呼函式設定：cpuhp_setup_state_nocall與CPU的熱插拔相關，register_reboot_notifer與系統的重啟相關，register_syscore_ops與系統的休眠喚醒相關，而這幾個模塊的回呼函式，最終都會去呼叫體系結構相關的函式去打開或關閉Hypervisor；
  2. 資源分配：kmem_cache_create_usercopy與kvm_async_pf_init都是創建slab快取，用于內核物件的分配；
  3. kvm_vfio_ops_init：VFIO是一個可以安全將設備I/O、中斷、DMA匯出到用戶空間的框架，后續在將IO虛擬化時再深入分析；
• 圖片中紅色的兩個函式，是本文分析的內容，其中kvm_arch_init與前文ARMv8硬體虛擬化支持緊密相關，而misc_register與上層操作緊密相關；

2.1 kvm_arch_init

• It's a big topic, I'll try to put it in a nutshell.
• 這部分內容，設計ARMv8體系結構，建議先閱讀《Linux虛擬化KVM-Qemu分析（二）之ARMv8虛擬化》；
• 紅色框的函式是需要進一步展開講述的；

• is_hyp_mode_available用于判斷ARMv8的Hyp模式是否可用，實際是通過判斷__boot_cpu_mode的值來完成，該值是在arch/arm64/kernel/head.S中定義，在啟動階段會設定該值：

• is_kernel_in_hyp_mode，通過讀取ARMv8的CurrentEL，判斷是否為CurrentEL_EL2；
• ARM架構中，SVE的實作要求VHE也要實作，這個可以從arch/arm64/Kconfig中看到，SVE的模塊編譯：depends on !KVM || ARM64_VHE，SVE（scalable vector extension），是AArch64下一代的SIMD（single instruction multiple data）指令集，用于加速高性能計算，其中SIMD如下：

• init_common_resources，用于設定IPA的地址范圍，將其限制在系統能支持的物理地址范圍之內，stage 2頁表依賴于stage 1頁表代碼，需要遵循一個條件：Stage 1的頁表級數 >= Stage 2的頁表級數；

2.1.1 init_hyp_mode

• 放眼望去，init_hyp_mode解決的問題就是各種映射，最終都會呼叫到__create_hyp_mappings，先來解決這個映射問題：

• 看過之前記憶體管理子系統的同學，應該熟悉這個頁表映射建立的程序，基本的流程是給定一個虛擬地址區間和物理地址，然后從pgd開始逐級往下去建立映射，ARMv8架構在實際映射程序中，P4D這一級頁表并沒有使用，

讓我們繼續回到init_hyp_mode的正題上來，這個函式完成了PGD頁表的分配，完成了IDMAP代碼段的映射，完成了其他各種段的映射，完成了例外向量表的映射，等等，此外，再補充幾點內容：

1. ARMv8例外向量表

• ARMv8架構的AArch64執行態中，每種EL都有16個entry，分為四類：Synchronous，IRQ，FIQ，SError，以系統啟動時設定hypervisor的例外向量表__hyp_stub_vectors為例：

• 當從不同的Exception Level觸發例外時，根據執行狀態，去選擇對應的handler處理，比如上圖中只有el1_sync有效，也就是在EL1狀態觸發EL2時跳轉到該函式；

2. pushsection/popsection

• 在init_hyp_mode函式中，完成各種段的映射，段的定義放置在vmlinux.lds.S中，比如hyp.idmap.text：

• 可以通過pushsection/popsection來在目標檔案中來添加一個段，并指定段的屬性，比如"ax"代表可分配和可執行，這個在匯編代碼中經常用到，比如hyp-init.S中，會將代碼都放置在hyp.idmap.text中：

• 除了pushsection/popsection外，通過#define __hyp_text __section(.hyp.text) notrace __noscs的形式也能將代碼放置在指定的段中；

3. Hypervisor相關暫存器

• 講幾個關鍵的相關暫存器：
  1）sctlr_el2(System Control Register)：可以用于控制EL2的MMU和Cache相關操作；
  2）ttbr0_el2(Translation Table Base Register 0)：用于存放頁表的基地址，上文中提到分配的hyp_pgd就需要設定到該暫存器中；
  3）vbar_el2(Vector Base Address Register)：用于存放例外向量表的基地址；

我們需要先明確幾點：

1. Hyp模式下要執行的代碼，需要先建立起映射；
2. 映射IDMAP代碼段和其他代碼段，明確這些段中都有哪些函式，這個可以通過pushsection/popsection以及__hyp_text宏可以看出來；
3. 最終的目標是需要建立好頁表映射，并安裝好例外向量表；

貌似內容比較零碎，最終的串聯與謎題留在下一小節來解答，

2.1.2 init_subsystems

先看一下函式的呼叫流程：

• VGIC，timer，以及電源管理相關模塊在本文中暫且不深入分析了，本節主要關心cpu_hyp_reinit的功能；
• 綠色框中的函式，會陷入到EL2進行執行；

看圖中有好幾次例外向量表的設定，此外，還有頁表基地址、堆疊頁的獲取與設定等，結合上一小節的各類映射，是不是已經有點迷糊了，下邊這張圖會將這些內容串聯起來：

• 在整個例外向量表創建的程序中，涉及到三個向量表：__hyp_stub_vectors，__kvm_hyp_init， __kvm_call_hyp，這些代碼都是匯編實作；
• 在系統啟動程序中(arch/arm64/kernel/head.S)，呼叫到el2_setup函式，在該函式中設定了一個臨時的例外向量表，也就是先打一個樁，這個從名字也可以看出來，該例外向量表中僅實作了el2_sync的handler處理函式，可以應對兩種例外：1）設定新的例外向量表；2）重置例外向量表，也就是設定回__hyp_stub_vectors；
• 在kvm初始化時，呼叫了__hyp_set_vectors來設定新的例外向量表：__kvm_hyp_init，這個向量表中只實作了__do_hyp_init的處理函式，也就是只能用來對Hyp模式進行初始化，上文提到過idmap段，這個代碼就放置在idmap段，以前分析記憶體管理子系統時也提到過idmap，為什么需要這個呢？idmap: identity map，也就是物理地址和虛擬地址是一一映射的，防止MMU在使能前后代碼不能執行；
• __kvm_call_hyp函式，用于在Hyp模式下執行指定的函式，在cpu_hyp_reinit函式中呼叫了該函式，傳遞的引數包括了新的例外向量表地址，頁表基地址，Hyp的堆疊地址，per-CPU偏移等，最侄訓呼叫__do_hyp_init函式完成相應的設定，

到此，頁表和例外向量表的設定算是完成了，

2.2 misc_register

misc_register用于注冊字符設備驅動，在kvm_init函式中呼叫此函式完成注冊，以便上層應用程式來使用kvm模塊：

• 字符設備的注冊分為三級，分別代表kvm, vm, vcpu，上層最終使用底層的服務都是通過ioctl函式來操作；
• kvm：代表kvm內核模塊，可以通過kvm_dev_ioctl來管理kvm版本資訊，以及vm的創建等；
• vm：虛擬機實體，可以通過kvm_vm_ioctl函式來創建vcpu，設定記憶體區間，分配中斷等；
• vcpu：代表虛擬的CPU，可以通過kvm_vcpu_ioctl來啟動或暫停CPU的運行，設定vcpu的暫存器等；

以Qemu的使用為例：

1. 打開/dev/kvm設備檔案；
2. ioctl(xx, KVM_CREATE_VM, xx)創建虛擬機物件；
3. ioctl(xx, KVM_CREATE_VCPU, xx)為虛擬機創建vcpu物件；
4. ioctl(xx, KVM_RUN, xx)讓vcpu運行起來；

3. 總結

本文主要從兩個方向來介紹了kvm_init：

1. 底層的體系結構相關的初始化，主要涉及的就是EL2的相關設定，比如各個段的映射，例外向量表的安裝，頁表基地址的設定等，當把這些準備作業做完后，才能在硬體上去支持虛擬化的服務請求；
2. 字符設備注冊，設定好各類ioctl的函式，上層應用程式可以通過字符設備檔案，來操作底層的kvm模塊，這部分內容深入的分析，留到后續的文章再展開了；

實際在看代碼程序中，一度為很多細節絞盡乳汁，對不起，是絞盡腦汁，每有會意，便欣然忘食，一文也無法覆寫所有內容，草率了，

歡迎關注個人公眾號，不定期更新技術文章，

標籤：Linux

上一篇：服務器nginx運行，但是瀏覽器無法訪問？

下一篇：shell處理資料：求最值，去重復值，篩選指定行數的值