建站
咨詢
售后
建站咨詢
新聞中心
虛擬化 本文先從Qemu側(cè)的virtio device入手，我會(huì)選擇從一個(gè)實(shí)際的設(shè)備來闡述，沒錯(cuò)，還是上篇文章中提到的網(wǎng)絡(luò)設(shè)備。
本文轉(zhuǎn)載自微信公眾號(hào)「LoyenWang」，作者LoyenWang。轉(zhuǎn)載本文請(qǐng)聯(lián)系LoyenWang公眾號(hào)。
背景
- Read the fucking source code! --By 魯迅
- A picture is worth a thousand words. --By 高爾基
說明：
- KVM版本：5.9.1
- QEMU版本：5.0.0
- 工具：Source Insight 3.5， Visio
- 文章同步在博客園：https://www.cnblogs.com/LoyenWang/
新的一年， 大家牛起來!
祝小姐姐們：
落雁沉魚 蘭質(zhì)蕙心 明眸皓齒 螓首蛾眉 天生麗質(zhì) 天香國(guó)色 杏臉桃腮 煦色韶光 涎玉沫珠 宜嗔宜喜 遠(yuǎn)山芙蓉 艷色絕世 余霞成綺 阿嬌金屋 逞嬌呈美 國(guó)色天香 花顏月貌 絕色佳人 暗香盈袖 閉月羞花 傾國(guó)傾城 溫婉嫻淑 千嬌百媚 儀態(tài)萬千...
祝男的：
新年好。
1. 概述
先來張圖：
- 圖中羅列了四個(gè)關(guān)鍵模塊：Virtio Device、Virtio Driver、Virtqueue、Notification(eventfd/irqfd);
- Virtio Driver：前端部分，處理用戶請(qǐng)求，并將I/O請(qǐng)求轉(zhuǎn)移到后端;
- Virtio Device：后端部分，由Qemu來實(shí)現(xiàn)，接收前端的I/O請(qǐng)求，并通過物理設(shè)備進(jìn)行I/O操作;
- Virtqueue：中間層部分，用于數(shù)據(jù)的傳輸;
- Notification：交互方式，用于異步事件的通知;
想在一篇文章中寫完這四個(gè)模塊，有點(diǎn)too yong too simple，所以，看起來又是一個(gè)系列文章了。
本文先從Qemu側(cè)的virtio device入手，我會(huì)選擇從一個(gè)實(shí)際的設(shè)備來闡述，沒錯(cuò)，還是上篇文章中提到的網(wǎng)絡(luò)設(shè)備。
2. 流程分析
在Qemu的網(wǎng)卡虛擬化時(shí)，通常會(huì)創(chuàng)建一個(gè)虛擬網(wǎng)卡前端和虛擬網(wǎng)卡后端，如下圖：
- 在虛擬機(jī)創(chuàng)建的時(shí)候指定參數(shù)：-netdev tap, id = tap0， -device virtio-net-pci, netdev=tap0;
- 創(chuàng)建一個(gè)Tap網(wǎng)卡后端設(shè)備;
- 創(chuàng)建一個(gè)Virtio-Net網(wǎng)卡前端設(shè)備;
- 網(wǎng)卡前端設(shè)備和后端設(shè)備進(jìn)行交互，最終與Host的驅(qū)動(dòng)完成數(shù)據(jù)的收發(fā);
全文圍繞著Tap設(shè)備的創(chuàng)建和Virtio-Net設(shè)備的創(chuàng)建展開。
入口流程如下：
- Qemu的代碼閱讀起來還是比較費(fèi)勁的，各種盤根錯(cuò)節(jié)，里邊充斥著面向?qū)ο蟮乃枷?，先給自己挖個(gè)坑，后續(xù)會(huì)專題研究的，this is for you, you have my words.;
- 圖中與本文相關(guān)的有三個(gè)模塊：1)模塊初始化;2)網(wǎng)絡(luò)設(shè)備初始化;3)設(shè)備初始化;
- Qemu中設(shè)備模擬通過type_init先編譯進(jìn)系統(tǒng)，在module_call_init時(shí)進(jìn)行回調(diào)，比如圖中的xxx_register_types，在這些函數(shù)中都是根據(jù)TypeInfo類型信息來創(chuàng)建具體的實(shí)現(xiàn);
- net_init_client用來創(chuàng)建網(wǎng)絡(luò)設(shè)備，比如Tap設(shè)備;
- device_init_func根據(jù)Qemu命令的傳入?yún)?shù)創(chuàng)建虛擬設(shè)備，比如Virtio-Net;
下邊進(jìn)入細(xì)節(jié)，the devil is in the details。
3. tap創(chuàng)建
從上文中，我們知道，Tap與Virtio-Net屬于前后端的關(guān)系，最終是通過結(jié)構(gòu)體分別指向?qū)Ψ?，如下圖：
- NetClientState是網(wǎng)卡模擬的核心結(jié)構(gòu)，表示網(wǎng)絡(luò)設(shè)備中的幾個(gè)端點(diǎn)，兩個(gè)端點(diǎn)通過peer指向?qū)Ψ?
創(chuàng)建Tap設(shè)備的主要工作就是創(chuàng)建一個(gè)NetClientState結(jié)構(gòu)，并添加到net_clients鏈表中：
函數(shù)的調(diào)用細(xì)節(jié)如下圖：
- 處理流程只關(guān)注了核心的處理流程，整個(gè)過程有很多關(guān)于傳入?yún)?shù)的處理，選擇性忽略了;
- net_tap_init：與Host的tun驅(qū)動(dòng)進(jìn)行交互，其實(shí)質(zhì)就是打開該設(shè)備文件，并進(jìn)行相應(yīng)的配置等;
- net_tap_fd_init：根據(jù)net_tap_info結(jié)構(gòu)，創(chuàng)建NetClientState，并進(jìn)行相關(guān)設(shè)置，這里邊net_tap_info結(jié)構(gòu)體中的接收函數(shù)指針用于實(shí)際的數(shù)據(jù)傳輸處理;
- tap_read_poll用于將fd添加到Qemu的AioContext中，用于異步響應(yīng)，當(dāng)有數(shù)據(jù)來臨時(shí)，捕獲事件并進(jìn)行處理;
以上就是Tap后端的創(chuàng)建過程，下文將針對(duì)前端創(chuàng)建了。
4. virtio-net創(chuàng)建
這是一個(gè)復(fù)雜的流程。
4.1 數(shù)據(jù)結(jié)構(gòu)
Qemu中用C語言實(shí)現(xiàn)了面向?qū)ο蟮哪Ｐ停糜趯?duì)設(shè)備進(jìn)行抽象，精妙!
針對(duì)Virtio-Net設(shè)備，結(jié)構(gòu)體及拓?fù)浣M織關(guān)系如下圖：
- DeviceState作為所有設(shè)備的父類，其中派生了VirtIODevice和PCIDevice，而本文研究的Virtio-Net派生自VirtIODevice;
- Qemu中會(huì)虛擬一個(gè)PCI總線，同時(shí)創(chuàng)建virtio-net-pci，virtio-balloon-pci，virtio-scsi-pci等PCI代理設(shè)備，這些代理設(shè)備掛載在PCI總線上，同時(shí)會(huì)創(chuàng)建Virtio總線，用于掛載最終的設(shè)備，比如VirtIONet;
- PCI代理設(shè)備就是一個(gè)紐帶;
4.2 流程分析
與設(shè)備創(chuàng)建相關(guān)的三個(gè)函數(shù)，可以從device_init_func入口跟蹤得知：
- 當(dāng)Qemu命令通過-device傳入?yún)?shù)時(shí)，device_init_func會(huì)根據(jù)參數(shù)去查找設(shè)備，并最終調(diào)用到該設(shè)備對(duì)應(yīng)的類初始化函數(shù)、對(duì)象初始化函數(shù)、以及realize函數(shù);
- 所以，我們的分析就是這三個(gè)入口;
4.2.1 class_init
- 在網(wǎng)卡虛擬化過程中，參數(shù)只需要指定PCI代理設(shè)備即可，也就是-device virtio-net-pci, netdev=tap0，從而會(huì)調(diào)用到virtio_net_pci_class_init函數(shù);
- 由于實(shí)現(xiàn)了類的繼承關(guān)系，在子類初始化之前，需要先調(diào)用父類的實(shí)現(xiàn)，圖中也表明了繼承關(guān)系以及調(diào)用函數(shù)順序;
- C語言實(shí)現(xiàn)繼承，也就是將父對(duì)象放置在自己結(jié)構(gòu)體的開始位置，圖中的顏色能看出來;
4.2.2 instance_init
類初始化結(jié)束后，開始對(duì)象的創(chuàng)建：
- 針對(duì)Virtio-Net-PCI的實(shí)例化比較簡(jiǎn)單，作為代理，負(fù)責(zé)將它的后繼對(duì)象初始化，也就是本文的前端設(shè)備Virtio-Net;
4.2.3 realize
- realize的調(diào)用，比較繞，簡(jiǎn)單來說，它的類繼承關(guān)系中存在多個(gè)realize的函數(shù)指針，最終會(huì)從父類開始執(zhí)行，一直調(diào)用到子類，而這些函數(shù)指針的初始化在什么時(shí)候做的呢?沒錯(cuò)，就是在class_init類初始化的時(shí)候，進(jìn)行了賦值，細(xì)節(jié)不表，結(jié)論可靠;
- 最終的調(diào)用關(guān)系就如圖了;
到目前為止，我們似乎都還沒有看到Virtio-Net設(shè)備的相關(guān)操作，不用著急，已經(jīng)很接近真相了：
- virtio_net_pci_realize函數(shù)，會(huì)觸發(fā)virtio_device_realize的調(diào)用，該函數(shù)是一個(gè)通用的virtio設(shè)備實(shí)現(xiàn)函數(shù)，所有的virtio設(shè)備都會(huì)調(diào)用，而我們的前端設(shè)備Virtio-Net也是virtio設(shè)備;
- virtio_net_device_realize就到了我們的主角了，它進(jìn)行了virtio通用的設(shè)置(后續(xù)在數(shù)據(jù)通信中再分析)，還創(chuàng)建了一個(gè)NetClientState端點(diǎn)，與Tap設(shè)備對(duì)應(yīng)，分別指向了對(duì)方，惺惺相惜，各自安好;
- virtio_bus_device_plugged表示設(shè)備插入總線時(shí)的處理，完成的工作就是按照PCI總線規(guī)劃，配置各類信息，以便與Guest OS中的virtio驅(qū)動(dòng)交互，后續(xù)的文章再分析了;
本文基本捋清了虛擬網(wǎng)卡前端設(shè)備和后端設(shè)備的創(chuàng)建過程，完成的工作只是綁定了彼此，數(shù)據(jù)交互以及通知機(jī)制，留給后續(xù)吧。
參考
《 Virtual I/O Device (VIRTIO) Version 1.1》
https://www.redhat.com/en/blog/virtio-devices-and-drivers-overview-headjack-and-phone
網(wǎng)站欄目：Linux虛擬化KVM-Qemu分析之Virtio設(shè)備
文章位置：http://www.5511xx.com/article/cccssch.html
