virtio基礎(chǔ)篇

1. virtio的提出

系統(tǒng)虛擬化技術(shù)是云計(jì)算最重要的核心技術(shù)之一。云計(jì)算平臺(tái)的資源池化，資源統(tǒng)一管理以及后續(xù)的動(dòng)態(tài)分配都是基于系統(tǒng)虛擬化技術(shù)才得以實(shí)現(xiàn)的。在計(jì)算機(jī)系統(tǒng)中，主要有計(jì)算資源，存儲(chǔ)資源和網(wǎng)絡(luò)資源。所以，系統(tǒng)虛擬化技術(shù)又可以細(xì)分為計(jì)算虛擬化，存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化。其中存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備一般都是以外設(shè)的形式和CPU通過I/O總線連接起來的，所以存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化又可以統(tǒng)一歸類為I/O虛擬化技術(shù)。我們這里介紹的virtio就是當(dāng)前最流行的I/O虛擬化技術(shù)。I/O虛擬化技術(shù)可以分成兩種，一種是全虛擬化，另外一種是半虛擬化。

全虛擬化：Guest OS不知道自己是虛擬機(jī)，所以也就不需要修改Guest OS的驅(qū)動(dòng)程序。這樣Guest OS移植性好，但是虛擬機(jī)的I/O性能不高。

半虛擬化：Guest OS知道自己是虛擬機(jī)，通過前端驅(qū)動(dòng)和后端模擬設(shè)備互相配合實(shí)現(xiàn)IO虛擬化。和全虛擬化相比，半虛擬化技術(shù)可以幫助大幅度提高虛擬機(jī)I/O的性能。目前在云計(jì)算場景中廣泛使用的就是virtio在Linux上的具體實(shí)現(xiàn)，而且virtio已經(jīng)成為虛擬化I/O技術(shù)的抽象接口規(guī)范和事實(shí)標(biāo)準(zhǔn)，即使非Linux系統(tǒng)也可以適用。

2. virtio總體設(shè)計(jì)思想

virtio的總體設(shè)計(jì)思想可以概括為以下四點(diǎn)：直觀，高效，標(biāo)準(zhǔn)化，可擴(kuò)展。1） 直觀：virtio設(shè)備被設(shè)計(jì)的和之前的硬件設(shè)備一樣，支持常用的總線機(jī)制，比如中斷和DMA。這樣的設(shè)計(jì)使得驅(qū)動(dòng)開發(fā)人員能夠快速上手，完成virtio設(shè)備驅(qū)動(dòng)的開發(fā)。2） 高效：virtio設(shè)備能支持單獨(dú)的輸入和輸出通道，在大量數(shù)據(jù)傳送的時(shí)候也能保持高效。3） 標(biāo)準(zhǔn)化：對(duì)硬件架構(gòu)和操作系統(tǒng)環(huán)境沒有依賴，支持多種不同總線的傳輸機(jī)制（在virtio規(guī)范1.1中支持PCI， MMIO和Channel I/O總線。比如在那些不支持PCI的嵌入式設(shè)備還可以通過使用MMIO的方式使用virtio）。4） 可擴(kuò)展：在virtio設(shè)備發(fā)現(xiàn)和設(shè)備初始化的時(shí)候通過引入特性位（Feature Bits）標(biāo)識(shí)符實(shí)現(xiàn)動(dòng)態(tài)適配的協(xié)商機(jī)制，能夠保證virtio前端驅(qū)動(dòng)和后端模擬設(shè)備之間的兼容性。

3. virtio基本原理

接下來，我們以目前使用最廣泛的QEMU/KVM場景為例子進(jìn)一步解釋virtio的基本原理。虛擬機(jī)在物理主機(jī)上是一個(gè)QEMU的進(jìn)程，運(yùn)行在用戶態(tài)。虛擬機(jī)內(nèi)部的virtio前端驅(qū)動(dòng)所申請(qǐng)的緩存被映射到設(shè)備空間中，也在QEMU的地址空間里，這樣QEMU就可以通過共享內(nèi)存的方式對(duì)這些緩存進(jìn)行讀寫操作。通過這樣的方式，實(shí)現(xiàn)了virtio前端驅(qū)動(dòng)程序（虛擬機(jī)Linux內(nèi)核的驅(qū)動(dòng)）和后端模擬設(shè)備（QEMU后端設(shè)備模擬程序）之間數(shù)據(jù)傳輸?shù)牧銖?fù)制，進(jìn)而大幅度提高了虛擬機(jī)的I/O性能。

virtio前后端在QEMU/KVM中的實(shí)現(xiàn)

virtio在虛QEMU擬機(jī)內(nèi)核中實(shí)現(xiàn)了前端驅(qū)動(dòng)，在QEMU中實(shí)現(xiàn)了后端模擬設(shè)備，前后端之間通過虛擬隊(duì)列（Virtqueue）通信交換數(shù)據(jù)。針對(duì)不同的總線機(jī)制，virtio設(shè)備有不同的實(shí)現(xiàn)方式，因?yàn)镻CI設(shè)備是最廣泛使用的設(shè)備，所以我們以virtio的PCI網(wǎng)卡為例子進(jìn)行講解。virtio-net前后端的實(shí)現(xiàn)如圖2所表示。

圖［1］。 virtio-net前后端在QEMU/KVM中的實(shí)現(xiàn)

virtio設(shè)備發(fā)現(xiàn)和初始化

在虛擬機(jī)啟動(dòng)之后，virtio前端驅(qū)動(dòng)會(huì)把自己標(biāo)識(shí)成一個(gè)PCI設(shè)備，其中包括PCI廠家標(biāo)識(shí)符，PCI設(shè)備標(biāo)識(shí)符。這樣虛擬機(jī)的內(nèi)核可以基于這個(gè)標(biāo)識(shí)符判斷使用哪種驅(qū)動(dòng)程序。因?yàn)樘摂M機(jī)中的Linux內(nèi)核已經(jīng)包括了virtio驅(qū)動(dòng)程序，所以virtio驅(qū)動(dòng)會(huì)被調(diào)用去初始化這個(gè)virtio設(shè)備。除了完成PCI設(shè)備通常的初始化操作之外，virtio前端驅(qū)動(dòng)還在初始化的過程中和后端設(shè)備模擬程序協(xié)商特性位（Feature Bits），并把最終的結(jié)果記錄在設(shè)備狀態(tài)（Device Status）中。具體的實(shí)現(xiàn)代碼可以參考內(nèi)核代碼在linux-3.10.0-957.1.3.el7/drivers/virtio/virtio.c中的virtio_dev_probe（）函數(shù)，如圖2所示。

圖2. virtio設(shè)備初始化，協(xié)商特性并最終設(shè)置設(shè)備狀態(tài)位這里有兩個(gè)比較重要的數(shù)據(jù)結(jié)構(gòu)需要介紹一下。

特性位（Feature Bits），用來表示設(shè)備所能支持的特性。在virtio設(shè)備初始化的時(shí)候，驅(qū)動(dòng)會(huì)去讀取特性位，并且告訴設(shè)備哪些是它能接受特性。如果后端模擬設(shè)備升級(jí)了，使能了某個(gè)新特性，但是虛擬機(jī)里面的驅(qū)動(dòng)還不能識(shí)別的話，那么兩者就是通過特性進(jìn)行協(xié)商。

設(shè)備狀態(tài)位（Device Status），用來表示設(shè)備的當(dāng)前狀態(tài)。在virtio設(shè)備發(fā)現(xiàn)，初始化和特性協(xié)商的過程中，都可以查看設(shè)備狀態(tài)位的方式查看virtio設(shè)備的狀態(tài)。比如，virtio_CONFIG_S_FEATURES_OK表示特性協(xié)商成功，virtio_CONFIG_S_DRIVER_OK表示驅(qū)動(dòng)已經(jīng)配置成功。

virtio網(wǎng)卡發(fā)送數(shù)據(jù)處理過程

虛擬隊(duì)列（Virtqueue）是被用來在virtio前端驅(qū)動(dòng)和virtio后端模擬設(shè)備之間雙向數(shù)據(jù)傳輸?shù)臄?shù)據(jù)結(jié)構(gòu)。每個(gè)virtio設(shè)備都維護(hù)著一個(gè)或者多個(gè)虛擬隊(duì)列。以virtio網(wǎng)絡(luò)設(shè)備為例，它至少維護(hù)兩個(gè)虛擬隊(duì)列，一個(gè)用來存儲(chǔ)要發(fā)送的數(shù)據(jù)，一個(gè)用來存儲(chǔ)接收的收據(jù)。每個(gè)虛擬隊(duì)列數(shù)據(jù)結(jié)構(gòu)都由三部分組成，分別是descriptor table，available ring和used ring。

descriptor table用來描述一組緩存，是virtio前端驅(qū)動(dòng)創(chuàng)建的。和緩存相關(guān)的信息主要是物理地址和長度；緩存數(shù)組的數(shù)量是有隊(duì)列大小（Queue Size）決定的；

available ring是給virtio前端驅(qū)動(dòng)給virtio后端模擬設(shè)備傳輸數(shù)據(jù)時(shí)使用的，比如虛擬機(jī)用virtio-net設(shè)備發(fā)送數(shù)據(jù)的時(shí)候，所發(fā)送的數(shù)據(jù)就會(huì)先緩存在這里，再通知virtio后端模擬設(shè)備來讀取；也就是說available ring的緩存，只能讓前端寫，后端讀；

used ring是給virtio后端模擬設(shè)備給virtio前端驅(qū)動(dòng)傳輸數(shù)據(jù)時(shí)使用的，比如virtio后端模擬設(shè)備從tap網(wǎng)絡(luò)接口收到數(shù)據(jù)之后，會(huì)把收到的數(shù)據(jù)緩存到這里，再通知virtio前端驅(qū)動(dòng)程序；也就是說used ring的緩存，只能讓后端寫，前端讀；

圖3. Virtio規(guī)范中虛擬隊(duì)列的定義

圖4. used ring和available ring在virtio規(guī)范中的定義

下面我們以虛擬機(jī)發(fā)送數(shù)據(jù)為例，結(jié)合Linux 3.10和QEMU1.5的代碼實(shí)現(xiàn)，詳細(xì)說明一下在QEMU/KVM場景下具體的實(shí)現(xiàn)過程。

virtio前端驅(qū)動(dòng)填充數(shù)據(jù)包，并發(fā)出通知

QEMU虛擬機(jī)內(nèi)的virtio網(wǎng)卡驅(qū)動(dòng)在初始化的時(shí)候，會(huì)和其他的網(wǎng)絡(luò)驅(qū)動(dòng)一樣注冊(cè)發(fā)送函數(shù)xmit_skb（）。具體的實(shí)現(xiàn)如圖5，6所示，所以虛擬機(jī)內(nèi)的virtio網(wǎng)卡發(fā)送數(shù)據(jù)的時(shí)候，會(huì)調(diào)用預(yù)先注冊(cè)的函數(shù)xmit_skb（）。要發(fā)送的數(shù)據(jù)會(huì)調(diào)用virtqueue_add_outbuf（）放置在available ring中。最終在virtqueue_add_outbuf（）函數(shù)中，會(huì)調(diào)用virtqueue_kick（）函數(shù)，并進(jìn)一步調(diào)用virtqueue_notify（）函數(shù)。在virtqueue_notify（）函數(shù)中，如圖7所表示的virtio前端通過I/O寫寄存器的方式通知virtio后端模擬設(shè)備。這部分前端驅(qū)動(dòng)的代碼在drivers/virtio/virtio_ring.c中。

圖5. virtio設(shè)備發(fā)送數(shù)據(jù)報(bào)文

圖6. virtio前端驅(qū)動(dòng)通知QEMU

圖7. virtio通知函數(shù)最終會(huì)寫寄存器

KVM截獲I/O后通知后端

虛擬機(jī)virtio前端驅(qū)動(dòng)程序發(fā)送通知的函數(shù)最終是執(zhí)行I/O寫指令。在QEMU/KVM環(huán)境中，虛擬機(jī)執(zhí)行I/O指令，會(huì)觸發(fā)VMExit。在KVM的VMExit代碼中會(huì)判斷退出的原因，I/O操作對(duì)應(yīng)的處理函數(shù)是handle_io（），具體的代碼在linux-3.10.0-957.1.3.el7/arch/x86/kvm/vmx.c，如圖8所示。最終再經(jīng)由KVM通知到QEMU中的virtio-net后端模擬設(shè)備，其中還涉及到KVM和eventfd等通信機(jī)制，因限于篇幅在這里不詳細(xì)描述了。

圖8. KVM中處理I/O操作導(dǎo)致的VMExit代碼

virtio后端模擬設(shè)備處理通知

如圖8所表示的，在接收到來自KVM的通知之后，QEMU后端設(shè)備模擬程序會(huì)調(diào)用virtio_queue_host_notifier_read（）函數(shù)，進(jìn)而調(diào)用預(yù)先注冊(cè)的函數(shù)virtio_ioprt_write（）處理來自前端驅(qū)動(dòng)的I/O寫操作。在接收到前端發(fā)來的通知之后，會(huì)調(diào)用virtio_queue_notify（）函數(shù)進(jìn)行處理。在接收網(wǎng)絡(luò)數(shù)據(jù)包的時(shí)候，virtio_queue_notify（）會(huì)再進(jìn)一步調(diào)用virtio-net網(wǎng)絡(luò)設(shè)備注冊(cè)的數(shù)據(jù)包接收函數(shù)virtio_net_handle_rx（）。如圖9所表示的，在qemu_flush_queued_packets（）中，QEMU會(huì)把數(shù)據(jù)復(fù)制到對(duì)應(yīng)的隊(duì)列中（QEMU中對(duì)應(yīng)后端的不同tap都維護(hù)著不同的隊(duì)列），之后再調(diào)用qemu_notify_event（）通知virtio前端，最終會(huì)調(diào)用kvm_set_irq（）觸發(fā)vCPU的中斷的方式通知virtio前端。

圖9. virtio后端設(shè)備接收通知后的處理

圖10. virtio-net預(yù)先注冊(cè)的數(shù)據(jù)報(bào)接收函數(shù)

圖

原文標(biāo)題：孫雷： 虛擬化之——virtio-net基礎(chǔ)篇

文章出處：【微信公眾號(hào)：Linuxer】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq