隨著云計算領域里，ARM架構處理器的廣泛使用，應用開發人員熟悉ARM架構相關技術的需求越來越迫切。眾所周知，提供虛擬機服務是云計算的典型應用場景，而虛擬機里設備性能的優劣對服務質量至關重要。

提到虛擬機里的設備，就不得不提及設備的虛擬化，最初虛擬機里的設備完全是依靠軟件模擬來實現，也叫全虛擬化設備，這樣的好處是運行在物理機里的OS可以完全不需要修改就能在虛擬機里運行，但設備性能很差，滿足不了人們的需求。

后來，有人提出了半虛擬化的思想，寄希望于軟件的優化，比如修改設備模型，減少不必要的內存拷貝，來滿足大家對設備的性能需求。典型代表virtio設備。此法使性能雖有較大提升，但與真實的設備仍有較大差距。為了獲取等同于真實設備的性能，設備直通的方式被提了出來，也漸漸成為主流方式。

虛擬機里使用直通的設備，的確可以帶來最大的性能提升。但是卻暴漏出一系列的系統安全問題。比如提供DMA的設備通常可以寫內存的任意頁，因此虛擬機里的Guest OS擁有創建DMA的能力就等同于用戶空間擁有了root權限，惡意的設備可能利用此發動DMA攻擊，給其他虛擬機乃至整個物理機帶來安全問題。

因此，需要提供DMA重映射功能，通過頁表方式將直通設備對內存的訪問限制到特定的域中，在提高IO性能的同時完成了直通設備的隔離，保證了直通設備DMA的安全性。此外，直通設備的中斷默認是發給物理CPU的，要想通知到虛擬機里的vCPU，就需要中斷的重定向。

DMA重映射跟中斷重定向的實現，最初是完全交由虛擬機監控器（Hypervisor）或模擬器（比如qemu）來負責。這是一種純軟件的思路，必然大大降低設備的性能，因此急需硬件的參與配合。為此，ARM的SMMU和GIC規范順勢添加了對DMA重映射跟中斷重定向的支持。本文的重點便是圍繞這兩大特性介紹如何支持虛擬化環境下的設備直通。

一、DMA重映射

SMMU是System MMU的縮寫，是ARM架構下一種對非CPU設備提供地址翻譯服務的組件，功能類似于CPU的MMU組件。這里非CPU設備主要指發起DMA操作的外圍子系統。如下圖所示：

注：PE為Processing Element 的縮寫，可理解為CPU。

在虛擬化應用場景下，地址翻譯往往分為兩個階段。階段一是虛擬地址（VA）到GuestOS認為的物理地址（IPA）間的轉換；階段二為IPA到真實物理地址（PA）間的轉換。而SMMU既可以同時支持兩個階段的轉換，也可以單獨支持每個階段的轉換。這為直通設備DMA重映射提供了可能。直通設備的DMA只需要獲取IPA，之后的工作便交由SMMU來做階段二的處理，以達到安全高效的訪問PA的目的。如下圖所示：

針對以上應用場景，我們介紹SMMU的內部結構來闡述具體實現原理。SMMU含有兩個核心單元，分別為翻譯控制單元TCU和翻譯緩沖單元TBU。其中TCU主要含有Stream Mapping Table(SMT)和Context Bank Table(CBT)。SMT通過StreamID來索引內部的Entry，StreamID跟具體直通設備一一對應， 從而獲取到指向CBT具體Entry的指針。

CBT的Entry內容則含有階段二翻譯表的指針，當獲取到此指針后，翻譯過程即可像普通MMU一樣按部就班的進行下去。而TBU的作用等同于TLB，借助Cache原理，加快SMMU工作效率，不再贅述。以上描述過程總結為如下框圖所示：

二、中斷重定向

GIC是Generic Interrupt Controller的縮寫。GIC的主要作用是路由各種不同的中斷信息給CPU。虛擬化環境下的中斷處理情形要復雜的多，有些因指令trap產生的中斷需要Hypervisor本身來處理；有些是分配給某個虛擬機的直通設備產生的中斷則需要虛擬機內的軟件來處理；也有中斷被接收時，對標的虛擬機沒有處于運行狀態的情況。這需要GIC提供機制，重定向中斷以滿足上述復雜的需求。

由于本文的重點是對直通設備虛擬化支持的講解，因此此部分將介紹GIC是如何支持直通設備中斷重映射的，并不會剖析GIC內部組成及實現原理。我們以GICv3為例，圖示如下：

配以如下步驟說明：

1 直通設備發起的中斷IRQ到達GIC；

2 GIC發物理的IRQ到CPU；

3 Hypervisor會從Physical CPU Interface讀取中斷信息；

4 Hypervisor發現此中斷是某虛擬機內的直通設備觸發，于是通過寫GIC List Register重新注入一個虛擬IRQ到GIC中；

5 GIC產生vIRQ中斷并發給vCPU；

6 最終vCPU接收vIRQ中斷并由運行其上的GuestOS接管并通過跟Virtual CPU interface交互處理后續中斷任務。

至此，一個完整的中斷重映射過程結束。

在GIC參與直通設備的中斷重映射后，虛擬機在處理中斷效率上有了明顯提升，但是跟Host主機上普通物理中斷相比，總是多了一步由軟件Hypervisor參與的動作。因此，我們稱以上方式為間接注入中斷的方式。為了進一步提高處理中斷的效率，GICv4引入了直接注入中斷方式。

具體原理則是直通設備在獲取中斷時，GIC會將分配給設備的物理中斷與虛擬中斷做一個映射。這樣當設備觸發中斷時，GIC會直接發信號給vCPU。有這樣一種情況，設備觸發中斷時vCPU沒有運行，即虛擬機處于休眠態，如果直接發vIRQ給vCPU是得不到響應的，這時候會產生一個物理的door-bell中斷來代替，此中斷交由Hypervisor處理，它會重新調度vCPU，從而使中斷得到及時響應。

審核編輯：劉清