Jim哥2007年加入VMware中國，經(jīng)歷了整個(gè)企業(yè)級市場從服務(wù)器虛擬化、私有云、公有云、容器云、混合云到云原生蓬勃發(fā)展的過程，也見證了從軟件定義的計(jì)算存儲、網(wǎng)絡(luò)到軟件定義一切的概念延伸。2021年Jim哥加入趨動科技，投身到軟件定義AI算力的這一波浪潮中。本文不打算說概念和邏輯，而是嘗試通過五大實(shí)際客戶場景來看看如何通過軟件定義的方法來對AI算力做優(yōu)化，解決痛點(diǎn)問題，供各位老板們參考。

GPU服務(wù)器相對CPU服務(wù)器來說是非常昂貴的，大約是美金和人民幣匯率的差距（以8卡GPU服務(wù)器為例），而且在芯片緊缺的年代，GPU到貨周期還比較長！面對資源昂貴、算力又是AI的發(fā)動機(jī)、AI業(yè)務(wù)又必須開展之間的矛盾，如何更好的利用和管理GPU資源就變得尤其關(guān)鍵。下面一起來看看這五大典型場景。

01.?AI開發(fā)測試

大多數(shù)的客戶采取的是為一個(gè)開發(fā)者分配一塊或幾塊GPU卡的方式來滿足開發(fā)調(diào)試的需求。這種情況下存在什么問題？卡和人綁定，卡分配之后，存在著較大的閑置，開發(fā)人員70%以上的時(shí)間都在讀論文、寫代碼，只有不到30%的時(shí)間在利用GPU資源進(jìn)行運(yùn)算調(diào)試。利用軟件定義GPU的技術(shù)，把卡和人解綁，當(dāng)有任務(wù)調(diào)用GPU資源的時(shí)候才真正被占用，任務(wù)結(jié)束，資源釋放，回到資源池。 下圖是一個(gè)JupyterLab的開發(fā)場景，VSCode server/PyCharm的模式與這個(gè)類似，在實(shí)際的客戶案例里，使用軟件定義的GPU之后，資源能縮減至25%左右！50個(gè)人的開發(fā)團(tuán)隊(duì)，16張卡搞定。

圖1: OrionX在AI開發(fā)中動態(tài)調(diào)用卡資源示例

02.?生產(chǎn)環(huán)境的AI推理業(yè)務(wù)

通過調(diào)查，絕大多數(shù)的用戶業(yè)務(wù)為了保證業(yè)務(wù)的隔離性，不受其它AI業(yè)務(wù)的干擾，保障服務(wù)的SLA，都是運(yùn)行在獨(dú)立的GPU卡上。在這種情況下，GPU卡的算力和顯存使用往往不到20%，這樣造成了大量的資源浪費(fèi)——近80%的算力和顯存其實(shí)是被白白消耗，而且還有與之相關(guān)的電費(fèi)，運(yùn)維費(fèi)用。通過軟件定義的方式，提供細(xì)顆粒度的GPU資源復(fù)用單卡，保障業(yè)務(wù)運(yùn)行的隔離性，可靠性和性能。大部分采取趨動科技池化方案上線生產(chǎn)業(yè)務(wù)的客戶，可獲得3倍以上的提升收益。

圖2: OrionX在生產(chǎn)環(huán)境中的單卡多業(yè)務(wù)復(fù)用示例

03.?晝夜復(fù)用

在前兩種場景中，不管是AI開發(fā)，還是AI線上推理，基本上都是白天比較繁忙，卡利用率相對較高。到了晚間，卡資源基本就處于閑置狀態(tài)，白白浪費(fèi)！在一個(gè)證券客戶那里，我們嘗試著利用OrionX解決這個(gè)問題。通過軟件定義的方式，彈性的分配和調(diào)度資源，晚上利用卡資源進(jìn)行訓(xùn)練任務(wù)的運(yùn)算，大大提升了閑時(shí)(夜間)資源利用率。

圖3: OrionX按需對卡進(jìn)行晝夜復(fù)用示例

04.?CPU和GPU的資源配比

大多數(shù)的AI開發(fā)涉及到從數(shù)據(jù)準(zhǔn)備，預(yù)處理，模型訓(xùn)練，調(diào)參，部署模型，線上推理，持續(xù)監(jiān)控，數(shù)據(jù)收集，迭代優(yōu)化的過程。在整個(gè)業(yè)務(wù)流程中，有些工作是需要大量CPU，不需要GPU資源的，在CPU運(yùn)算的時(shí)候，其實(shí)GPU是閑置的；在一個(gè)自動駕駛客戶那里，我們看到在仿真場景下，一個(gè)8卡的GPU的服務(wù)器，在CPU耗盡（占用100%）的情況下，最多只能使用到其中的3塊GPU卡，剩下的5張GPU卡處在閑置狀態(tài)，無法被充分利用。同樣的道理，也可能存在GPU卡在大量占用，CPU資源被閑置的情況。通過利用軟件定義的AI算力，將CPU和GPU解耦，一舉解決CPU/GPU資源不匹配的問題。

圖4: OrionX優(yōu)化CPU和GPU資源配比示例

05.?顯存超分

這是我們在一個(gè)金融客戶那里遇到的真實(shí)案例，我們看到一個(gè)大數(shù)據(jù)AI分析流程，運(yùn)行在1張16G顯存的T4卡上，其需要占用大約20%的算力，12Gb的顯存，服務(wù)常駐用在處理保單的識別和分析。在這種情況下，該卡剩余的80%算力，4Gb（25%）的顯存處在閑置狀態(tài)，無法被使用，成了資源碎片。 要想利用資源碎片，一種思路是找到適合碎片的算力任務(wù)也運(yùn)行到這張卡（未必好找）。運(yùn)用軟件定義的虛擬顯存的技術(shù)，使用部分內(nèi)存來補(bǔ)足顯存，讓兩個(gè)任務(wù)同時(shí)運(yùn)行在這張卡上。資源不變，通量達(dá)到1.8倍！ 你可能還會想到，如果在跑一個(gè)訓(xùn)練任務(wù)的時(shí)候，模型所需的物理顯存不夠，是不是也可以用內(nèi)存來補(bǔ)足加載？是的。可以加載運(yùn)行，但是要付出一定的性能損耗。此方案在必須改模型或要采購大顯存物理卡之外，又提供了一種可能的選擇。

圖5: OrionX顯存超分提升資源利用率示例

以上利用軟件定義GPU的方法來優(yōu)化AI算力的五大場景，只是我們看到的冰山一角。軟件定義GPU所能帶來的業(yè)務(wù)價(jià)值，還有待于企業(yè)客戶在各個(gè)領(lǐng)域的不停探索。 除此之外，不得不提一下此項(xiàng)技術(shù)額外的Bonus，降低碳排放，保護(hù)地球家園！

圖6: OrionX關(guān)鍵效能指標(biāo)收益對比示例 最后，做個(gè)小結(jié)。軟件定義的核心是通過軟件定義的方法，將各種硬件（CPU、內(nèi)存、磁盤、I/0等）變成可以動態(tài)管理的“資源池”，從而提升資源的利用率，簡化系統(tǒng)管理，實(shí)現(xiàn)資源整合，讓IT對業(yè)務(wù)的變化更具適應(yīng)力。 軟件定義的AI算力，一方面可以把一顆物理加速芯片（GPU或ASIC）變成幾個(gè)或幾十個(gè)互相隔離的小的計(jì)算單元，也可以把分布在不同物理服務(wù)器上的加速芯片聚合給一個(gè)操作系統(tǒng)（物理機(jī)/虛擬機(jī)）或容器，完成分布式任務(wù)。此外，沒有加速芯片（GPU或ASIC）的CPU服務(wù)器也可以調(diào)用遠(yuǎn)程服務(wù)器上的加速卡(GPU或ASIC)完成AI運(yùn)算，實(shí)現(xiàn)CPU與GPU設(shè)備的解耦。軟件定義實(shí)質(zhì)是通過軟件的方法提供更有彈性的硬件。

編輯：黃飛