StratoVirt中vCPU管理模塊的組成及位置

StratoVirt是開(kāi)源在openEuler社區(qū)的輕量級(jí)虛擬化平臺(tái)，具備輕量低噪、強(qiáng)安全性的行業(yè)競(jìng)爭(zhēng)力。 StratoVirt進(jìn)程運(yùn)行在用戶(hù)態(tài)，在虛擬機(jī)啟動(dòng)之前，StratoVirt會(huì)完成啟動(dòng)之前的準(zhǔn)備工作，包括虛擬機(jī)內(nèi)存的初始化、CPU寄存器初始化、設(shè)備初始化等，啟動(dòng)，CPU寄存器初始化和虛擬機(jī)在運(yùn)行過(guò)程中vCPU陷出事件的處理，都是由StratoVirt的vCPU管理模塊CPU完成。如下是StratoVirt中vCPU管理模塊的組成，以及其在StratoVirt中的位置。

stratovirt
├──acpi
├──address_space
├──boot_loader
├──Cargo.lock
├──Cargo.toml
├──cpu
│├──Cargo.toml
│└──src
│├──aarch64
││├──caps.rs
││├──core_regs.rs
││└──mod.rs
│├──lib.rs
│└──x86_64
│├──caps.rs
│├──cpuid.rs
│└──mod.rs
├──devices
├──hypervisor
├──machine
├──machine_manager
├──migration
├──migration_derive
├──ozone
├──pci
├──src
│└──main.rs
├──sysbus
├──util
├──vfio
└──virtio

StratoVirt vCPU模塊的整體設(shè)計(jì)

StratoVirt的虛擬化解決方案也是一套軟硬結(jié)合的硬件輔助虛擬化解決方案，它的運(yùn)作依賴(lài)于硬件輔助虛擬化的能力（如VT-X或Kunpeng-V）。vCPU模塊的實(shí)現(xiàn)也是緊密依賴(lài)于這一套硬件輔助虛擬化的解決方案的。 對(duì)于物理機(jī)的CPU而言，硬件輔助虛擬化為CPU增加了一種新的模式：Non-Root模式，在該模式下，CPU執(zhí)行的并不是物理機(jī)的指令，而是虛擬機(jī)的指令。這種指令執(zhí)行方式消除了大部分性能開(kāi)銷(xiāo)，非常高效。但是特權(quán)指令（如I/O指令）不能通過(guò)這種方式執(zhí)行，還是會(huì)強(qiáng)制將CPU退出到普通模式（即ROOT模式）下交給內(nèi)核KVM模塊和用戶(hù)態(tài)StratoVirt去處理，處理完再重新回到Non-Root模式下執(zhí)行下一條指令。 而StratoVirt中的vCPU模塊主要圍繞著KVM模塊中對(duì)vCPU的模擬來(lái)實(shí)現(xiàn)，為了支持KVM模塊中對(duì)CPU的模擬，CPU子系統(tǒng)主要負(fù)責(zé)處理退出到普通模式的事件，以及根據(jù)在GuestOS內(nèi)核開(kāi)始運(yùn)行前對(duì)vCPU寄存器等虛擬硬件狀態(tài)的初始化。整個(gè)vCPU模塊的設(shè)計(jì)模型如下圖所示：

StratoVirt通過(guò)第三方庫(kù)kvm_ioctls來(lái)完成和KVM模塊的交互，通過(guò)匹配vcpu_fd.run()函數(shù)的返回值來(lái)處理退出到ROOT模式的事件，該函數(shù)的返回值是一個(gè)名為VcpuExit的枚舉，定義了退出到ROOT模式的事件類(lèi)型，包括I/O的下發(fā)、系統(tǒng)關(guān)機(jī)事件、系統(tǒng)異常事件等，根據(jù)事件的類(lèi)型vCPU將對(duì)不同的事件作出各自的處理。以上的整個(gè)過(guò)程都被包含在一個(gè)獨(dú)立的vCPU線(xiàn)程中，用戶(hù)可以自己通過(guò)對(duì)vCPU線(xiàn)程進(jìn)行綁核等方式讓虛擬機(jī)的vCPU獲取物理機(jī)CPU近似百分之百的性能。 同時(shí)，對(duì)vCPU寄存器虛擬硬件狀態(tài)信息的初始化則是和StratoVirt的另一個(gè)模塊BootLoader相互結(jié)合，在BootLoader中實(shí)現(xiàn)了一種根據(jù)Linux啟動(dòng)協(xié)議快速引導(dǎo)啟動(dòng)Linux內(nèi)核鏡像的方法，在這套啟動(dòng)流程中，BootLoader將主動(dòng)完成傳統(tǒng)BIOS對(duì)一些硬件信息的獲取，將對(duì)應(yīng)的硬件表保存在虛擬機(jī)內(nèi)存中，同時(shí)將提供一定的寄存器設(shè)置信息，這些寄存器設(shè)置信息將傳輸給vCPU模塊，通過(guò)設(shè)置vCPU結(jié)構(gòu)中的寄存器值，讓虛擬機(jī)CPU跳過(guò)實(shí)模式直接進(jìn)入保護(hù)模式運(yùn)行，這樣Linux內(nèi)核就能直接從保護(hù)模式的入口開(kāi)始運(yùn)行，這種方式讓StratoVirt的啟動(dòng)流程變得輕量快速。 在整個(gè)vCPU模塊中，因?yàn)樯婕暗絻?nèi)核的KVM模塊，少不了與C語(yǔ)言代碼做交互。作為系統(tǒng)編程語(yǔ)言，Rust對(duì)FFI有非常完善的支持，讓vCPU中和KVM模塊交互的部分高效且安全。

vCPU線(xiàn)程模型同步

vCPU模塊還有一大職責(zé)就是管理vCPU的生命周期，包括new（創(chuàng)建），realize（使能），run（運(yùn)行），pause（暫停），resume（恢復(fù)），destroy（銷(xiāo)毀）。New和realize的過(guò)程就是結(jié)構(gòu)體創(chuàng)建和寄存器初始化的流程，run的過(guò)程即是實(shí)現(xiàn)KVM中vCPU運(yùn)作和VCPU_EXIT退出事件處理的流程。 另外的三種生命周期的實(shí)現(xiàn)則涉及到對(duì)線(xiàn)程同步的精密控制，例如在虛擬機(jī)destroy的過(guò)程中，一般只有某一個(gè)vCPU接收到VCPU_EXIT中的SHUTDOWN事件，該vCPU線(xiàn)程需要把該事件傳遞到所有的vCPU線(xiàn)程，同步所有vCPU線(xiàn)程的狀態(tài)，完成虛擬機(jī)的優(yōu)雅關(guān)機(jī)。在這種場(chǎng)景下，我們就需要考慮在Rust中如何實(shí)現(xiàn)在多線(xiàn)程中進(jìn)行狀態(tài)同步。

Rust中通過(guò)條件變量來(lái)實(shí)現(xiàn)同步

Rust多線(xiàn)程編程中，有一類(lèi)用于同步的機(jī)制叫做屏障（Barrier），用于讓多線(xiàn)程來(lái)同步一些流程開(kāi)始的位置，它相當(dāng)于一個(gè)閘口，使用wait方法，將該線(xiàn)程放進(jìn)臨界區(qū)并阻塞住，只有每個(gè)Barrier都到達(dá)wait方法調(diào)用的點(diǎn)，閘口才會(huì)打開(kāi)，所有的線(xiàn)程同步往下運(yùn)行。 而在比較復(fù)雜的同步場(chǎng)景中，Rust還提供了另一個(gè)同步機(jī)制條件變量（Condition Variable）來(lái)支持更復(fù)雜的同步場(chǎng)景，它和屏障的功能類(lèi)似，但是它并不阻塞全部進(jìn)程，而是在滿(mǎn)足指定的條件之前阻塞某個(gè)得到互斥鎖的進(jìn)程。也就是說(shuō)，通過(guò)條件變量，我們可以在達(dá)到某種條件之前阻塞某個(gè)線(xiàn)程，這個(gè)特性可以讓我們很好得對(duì)線(xiàn)程進(jìn)行同步。 為了支持各種場(chǎng)景的同步控制，條件變量還提供了三個(gè)方法：

notify_one(): 用來(lái)通知一次阻塞線(xiàn)程，如果有復(fù)數(shù)個(gè)線(xiàn)程被阻塞住，notify_one會(huì)被一個(gè)阻塞的線(xiàn)程所消耗，不會(huì)傳遞到別的阻塞線(xiàn)程去。

notify_all(): 用來(lái)通知所有的阻塞線(xiàn)程。

wait_timeout(): 將當(dāng)前線(xiàn)程置入臨界區(qū)阻塞住并等待通知，可以設(shè)定一個(gè)timeout來(lái)設(shè)置阻塞的最大時(shí)間，以免造成永久的阻塞導(dǎo)致程序卡死。

需要注意的一點(diǎn)是條件變量需要和鎖一起使用，而在程序運(yùn)行中，每個(gè)條件變量每次只能和一個(gè)互斥體（被Mutex等鎖包裹都可稱(chēng)為互斥體）進(jìn)行使用。

vCPU生命周期控制和線(xiàn)程同步

在CPU數(shù)據(jù)結(jié)構(gòu)初始化時(shí)，創(chuàng)建一個(gè)互斥的生命周期枚舉(CpuLifecycleState)和一個(gè)條件變量。

pubfnnew(
vcpu_fd:Arc,
id:u8,
arch_cpu:Arc>,
vm:Arc>,
)->Self{
CPU{
id,
fd:vcpu_fd,
arch_cpu,
state:Arc::Created),Condvar::new())),
work_queue:Arc::new(0),Condvar::new())),
task:Arc::new(None)),
tid:Arc::new(None)),
vm:Arc::downgrade(&vm),
}
}

以destory生命周期為例，在x86_64架構(gòu)下，當(dāng)某個(gè)vCPU線(xiàn)程接收到VcpuExit::Shutdown事件后，會(huì)將該線(xiàn)程的CpuLifecycleState修改為Stopped，并調(diào)用保存在CPU數(shù)據(jù)結(jié)構(gòu)中一個(gè)指向上層結(jié)構(gòu)的虛擬機(jī)destroy方法，該方法能遍歷一個(gè)保存著所有CPU數(shù)據(jù)結(jié)構(gòu)的數(shù)組，執(zhí)行數(shù)組中每一個(gè)CPU的destory()方法，該函數(shù)的實(shí)現(xiàn)如下：

fndestory(&self)->Result<()>{
let(cpu_state,cvar)=&*self.state;
if*cpu_state.lock().unwrap()==CpuLifecycleState::Running{
*cpu_state.lock().unwrap()=CpuLifecycleState::Stopping;
}else{
*cpu_state.lock().unwrap()=CpuLifecycleState::Stopped;
}

/*省略具體的關(guān)機(jī)邏輯*/

letmutcpu_state=cpu_state.lock().unwrap();
cpu_state=cvar
.wait_timeout(cpu_state,Duration::from_millis(32))
.unwrap()
.0;

if*cpu_state==CpuLifecycleState::Stopped{
*cpu_state=CpuLifecycleState::Nothing;
Ok(())
}else{
Err(ErrorKind::DestroyVcpu(format!("VCPUstillin{:?}state",*cpu_state)).into())
}
}

作為CPU的成員方法，destory函數(shù)能獲取到每個(gè)CPU數(shù)據(jù)結(jié)構(gòu)的互斥狀態(tài)和條件變量，此時(shí)將除觸發(fā)vCPU外所有的CPU數(shù)據(jù)的互斥狀態(tài)解鎖，并將狀態(tài)從運(yùn)行時(shí)的Running修改為vCPU關(guān)機(jī)時(shí)的Stopping。這里要注意一點(diǎn)，此時(shí)所有CPU的destroy函數(shù)都是在觸發(fā)關(guān)機(jī)事件的vCPU進(jìn)程中進(jìn)行的，而不是在每個(gè)vCPU各自的進(jìn)程中進(jìn)行。 緊接著進(jìn)入Stopping狀態(tài)后，destroy函數(shù)會(huì)執(zhí)行每個(gè)vCPU各自的關(guān)機(jī)邏輯，包括觸發(fā)vCPU，這部分主要還是與KVM模塊進(jìn)行交互，進(jìn)行一些退出狀態(tài)的變更等。在執(zhí)行完vCPU的關(guān)機(jī)邏輯后，條件變量會(huì)進(jìn)入到wait_timeout的等待狀態(tài)，它的參數(shù)為每個(gè)vCPU的CpuLifecycleState生命周期狀態(tài)枚舉和等待超時(shí)時(shí)間，也就是說(shuō)在該生命周期枚舉狀態(tài)變化前，該線(xiàn)程都會(huì)進(jìn)入阻塞狀態(tài)。 此時(shí)除觸發(fā)vCPU外的vCPU線(xiàn)程中，CpuLifecycleState都已經(jīng)進(jìn)入了Stopping狀態(tài)，在所有vCPU線(xiàn)程中，vCPU的指令模擬函數(shù)kvm_vcpu_exec()都運(yùn)行在一個(gè)循環(huán)中，對(duì)于每次循環(huán)的入口，都會(huì)執(zhí)行ready_for_running()函數(shù)進(jìn)入是否繼續(xù)模擬的判斷，在該函數(shù)中會(huì)對(duì)每個(gè)vCPU對(duì)應(yīng)的CpuLifecycleState進(jìn)行監(jiān)控，當(dāng)發(fā)現(xiàn)CpuLifecycleState已經(jīng)變成Stopping時(shí)，vCPU將會(huì)退出循環(huán)，不繼續(xù)進(jìn)行vCPU的模擬，退出模擬的循環(huán)后，將會(huì)修改CpuLifecycleState為Stopped:

//Thevcputhreadisabouttoexit,markingthestateoftheCPUstateasStopped.
let(cpu_state,_)=&*self.thread_cpu.state;
*cpu_state.lock().unwrap()=CpuLifecycleState::Stopped;

修改vCPU線(xiàn)程中互斥的生命周期狀態(tài)枚舉后，將會(huì)觸發(fā)阻塞線(xiàn)程中對(duì)應(yīng)的wait_timeout()函數(shù)，同時(shí)，該vCPU線(xiàn)程的生命周期結(jié)束。而對(duì)于阻塞線(xiàn)程，當(dāng)其余vCPU線(xiàn)程的狀態(tài)都已經(jīng)變成Stopped后，阻塞解除，此時(shí)，所有的vCPU線(xiàn)程都已經(jīng)狀態(tài)都已經(jīng)同步到了Stopped，線(xiàn)程狀態(tài)同步成功。 用類(lèi)似思路也可以實(shí)現(xiàn)pause（暫停）和resume（恢復(fù)）的生命周期控制。

原文標(biāo)題：StratoVirt vCPU管理Rust線(xiàn)程同步的實(shí)現(xiàn)

文章出處：【微信公眾號(hào)：openEuler】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。