背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. KVM版本：5.9.1
2. QEMU版本：5.0.0
3. 工具：Source Insight 3.5， Visio
4. 文章同步在博客園：https://www.cnblogs.com/LoyenWang/

1. 概述

先從作業系統的角度來看一下timer的作用吧：

通過timer的中斷，OS實作的功能包括但不局限于上圖：

• 定時器的維護，包括用戶態和內核態，當指定時間段過去后觸發事件操作，比如IO操作注冊的超時定時器等；
• 更新系統的運行時間、wall time等，此外還保存當前的時間和日期，以便能通過time()等介面回傳給用戶程式，內核中也可以利用其作為檔案和網路包的時間戳；
• 調度器在調度任務分配給CPU時，也會去對task的運行時間進行統計計算，比如CFS調度，Round-Robin調度等；
• 資源使用統計，比如系統負載的記錄等，此外用戶使用top命令也能進行查看；

 
timer就像是系統的脈搏，重要性不言而喻，ARMv8架構處理器提供了一個Generic Timer，與GIC類似，Generic Timer在硬體上也支持了虛擬化，減少了軟體模擬帶來的overhead，

 
本文將圍繞著ARMv8的timer虛擬化來展開，

2. ARMv8 Timer虛擬化

2.1 Generic Timer

看一下ARMv8架構下的CPU內部圖：

• Generic Timer提供了一個系統計數器，用于測量真實時間的消逝；
• Generic Timer支持虛擬計數器，用于測量虛擬的時間消逝，一個虛擬計數器對應一個虛擬機；
• Timer可以在特定的時間消逝后觸發事件，可以設定成count-up計數或者count-down計數；

來看一下Generic Timer的簡圖：

或者這個：

• System Counter位于Always-on電源域，以固定頻率進行系統計數的增加，System Counter的值會廣播給系統中的所有核，所有核也能有一個共同的基準了，System Counter的頻率范圍為1-50MHZ，系統計數值的位寬在56-64bit之間；
• 每個核有一組timer，這些timer都是一些比較器，與System Counter廣播過來的系統計數值進行比較，軟體可以配置固定時間消逝后觸發中斷或者觸發事件；
• 每個核提供的timer包括：1）EL1 Physical timer；2）EL1 Virtual timer；此外還有在EL2和EL3下提供的timer，具體取決于ARMv8的版本；
• 有兩種方式可以配置和使用一個timer：1）CVAL(comparatoer)暫存器，通過設定比較器的值，當System Count >= CVAL時滿足觸發條件；2）TVAL暫存器，設定TVAL暫存器值后，比較器的值CVAL = TVAL + System Counter，當System Count >= CVAL時滿足觸發條件，TVAL是一個有符號數，當遞減到0時還會繼續遞減，因此可以記錄timer是在多久之前觸發的；
• timer的中斷是私有中斷PPI，其中EL1 Physical Timer的中斷號為30，EL1 Virtual Timer的中斷號為27；
• timer可以配置成觸發事件產生，當CPU通過WFE進入低功耗狀態時，除了使用SEV指令喚醒外，還可以通過Generic Timer產生的事件流來喚醒；

2.2 虛擬化支持

Generic Timer的虛擬化如下圖：

• 虛擬的timer，同樣也有一個count值，計算關系：Virtual Count = Physical Count - <offset>，其中offset的值放置在CNTVOFF暫存器中，CNTPCT/CNTVCT分別用于記錄當前物理/虛擬的count值；
• 如果EL2沒有實作，則將offset設定為0,，物理的計數器和虛擬的計數器值相等；
• Physical Timer直接與System counter進行比較，Virtual Timer在Physical Timer的基礎上再減去一個偏移；
• Hypervisor負責為當前調度運行的vCPU指定對應的偏移，這種方式使得虛擬時間只會覆寫vCPU實際運行的那部分時間；

示例如下：

• 6ms的時間段里，每個vCPU運行3ms，Hypervisor可以使用偏移暫存器來將vCPU的時間調整為其實際的運行時間；

3. 流程分析

3.1 初始化

先簡單看一下資料結構吧：

• 在ARMv8虛擬化中，使用struct arch_timer_cpu來描述Generic Timer，從結構體中也能很清晰的看到層次結構，創建vcpu時，需要去初始化vcpu架構相關的欄位，其中就包含了timer；
• struct arch_timer_cpu包含了兩個timer，分別對應物理timer和虛擬timer，此外還有一個高精度定時器，用于Guest處在非運行時的計時作業；
• struct arch_timer_context用于描述一個timer需要的內容，包括了幾個欄位用于存盤暫存器的值，另外還描述了中斷相關的資訊；

初始化分為兩部分：

1. 架構相關的初始化，針對所有的CPU，在kvm初始化時設定：

• kvm_timer_hyp_init函式完成相應的初始化作業；
• arch_timer_get_kvm_info從Host Timer驅動中去獲取資訊，主要包括了虛擬中斷號和物理中斷號，以及timecounter資訊等；
• vtimer中斷設定包括：判斷中斷的觸發方式（只支持電平觸發），注冊中斷處理函式kvm_arch_timer_handler，設定中斷到vcpu的affinity等；
• ptimer中斷設定與vtimer中斷設定一樣，同時它的中斷處理函式也是kvm_arch_timer_handler，該處理函式也比較簡單，最侄訓呼叫kvm_vgic_inject_irq函式來完成虛擬中斷注入給vcpu；
• cpuhp_setup_state用來設定CPU熱插拔時timer的回應處理，而在kvm_timer_starting_cpu/kvm_timer_dying_cpu兩個函式中實作的操作就是中斷的打開和關閉，僅此而已；

2. vcpu相關的初始化，在創建vcpu時進行初始化設定：

• 針對vcpu的timer相關初始化比較簡單，回到上邊那張資料結構圖看一眼就明白了，所有的初始化作業都圍繞著struct arch_timer_cpu結構體；
• vcpu_timer：用于獲取vcpu包含的struct arch_timer_cpu結構；
• vcpu_vtimer/vcpu_ptimer：用于獲取struct arch_timer_cpu結構體中的struct arch_timer_context，分別對應vtimer和ptimer；
• update_vtimer_cntvoff：用于更新vtimer中的cntvoff值，讀取物理timer的count值，更新VM中所有vcpu的cntvoff值；
• hrtimer_init：用于初始化高精度定時器，包含有三個，struct arch_timer_cpu結構中有一個bg_timer，vtimer和ptimer所對應的struct arch_timer_context中分別對應一個；
• kvm_bg_timer_expire：bg_timer的到期執行函式，當需要呼叫kvm_vcpu_block讓vcpu睡眠時，需要先啟動bg_timer，bg_timer到期時再將vcpu喚醒；
• kvm_hrtimer_expire：vtimer和ptimer的到期執行函式，最終通過呼叫kvm_timer_update_irq來向vcpu注入中斷；

3.2 用戶層訪問

可以從用戶態對vtimer進行讀寫操作，比如Qemu中，流程如下：

• 用戶態創建完vcpu后，可以通過vcpu的檔案描述符來進行暫存器的讀寫操作；
• 以ARM為例，ioctl通過KVM_SET_ONE_REG/KVM_GET_ONE_REG將最終觸發暫存器的讀寫；
• 如果操作的是timer的相關暫存器，則通過kvm_arm_timer_set_reg和kvm_arm_timer_get_reg來完成；
• 讀寫的暫存器包括虛擬timer的CTL/CVAL，以及物理timer的CTL/CVAL等；

3.3 Guest訪問

Guest對Timer的訪問，涉及到系統暫存器的讀寫，將觸發例外并Trap到Hyp進行處理，流程如下：

• Guest OS訪問系統暫存器時，Trap到Hypervisor進行處理；
• Hypervisor對例外退出進行處理，如果發現是訪問系統暫存器造成的例外，則呼叫kvm_handle_sys_reg來處理；
• kvm_handle_sys_reg：呼叫emulate_sys_reg來對系統暫存器進行模擬，在該函式中首先會查找訪問的是哪一個暫存器，然后再去呼叫相應的回呼函式；
• kvm中維護了struct sys_reg_desc sys_reg_descs[]系統暫存器的描述表，其中struct sys_reg_desc結構體中包含了對該暫存器操作的函式指標，用于指向最終的操作函式，比如針對Timer的kvm_arm_timer_write_sysreg/kvm_arm_timer_read_sysreg讀寫操作函式；
• Timer的讀寫操作函式，主要在kvm_arm_timer_read/kvm_arm_timer_write中完成，實作的功能就是根據物理的count值和offset來計算等；

 
timer的虛擬化還是比較簡單，就此打住了，

PS：

按計劃，接下里該寫IO虛擬化了，然后緊接著Qemu的原始碼相關分析，不過，在寫IO虛擬化之前，我會先去講一下PCIe的驅動框架，甚至可能還會去研究一下網路，who knows，反正這些也都是IO相關，
Any way，I will be back soon!

參考

《AArch64 Programmer's Guides Generic Timer》
《Arm Architecture Reference Manual》

歡迎關注個人公眾號，不定期更新內核相關技術文章

標籤：其他

上一篇：Ubuntu安裝后更換阿里源

下一篇：Manjaro 安裝LAMP