Jim哥2007年加入VMware中國，經(jīng)歷了整個企業(yè)級市場從服務(wù)器虛擬化、私有云、公有云、容器云、混合云到云原生蓬勃發(fā)展的過程，也見證了從軟件定義的計算存儲、網(wǎng)絡(luò)到軟件定義一切的概念延伸。2021年Jim哥加入趨動科技，投身到軟件定義AI算力的這一波浪潮中。本文不打算說概念和邏輯，而是嘗試通過五大實際客戶場景來看看如何通過軟件定義的方法來對AI算力做優(yōu)化，解決痛點問題，供各位老板們參考。

GPU服務(wù)器相對CPU服務(wù)器來說是非常昂貴的，大約是美金和人民幣匯率的差距（以8卡GPU服務(wù)器為例），而且在芯片緊缺的年代，GPU到貨周期還比較長！面對資源昂貴、算力又是AI的發(fā)動機、AI業(yè)務(wù)又必須開展之間的矛盾，如何更好的利用和管理GPU資源就變得尤其關(guān)鍵。下面一起來看看這五大典型場景。

01.?AI開發(fā)測試

大多數(shù)的客戶采取的是為一個開發(fā)者分配一塊或幾塊GPU卡的方式來滿足開發(fā)調(diào)試的需求。這種情況下存在什么問題？卡和人綁定，卡分配之后，存在著較大的閑置，開發(fā)人員70%以上的時間都在讀論文、寫代碼，只有不到30%的時間在利用GPU資源進(jìn)行運算調(diào)試。利用軟件定義GPU的技術(shù)，把卡和人解綁，當(dāng)有任務(wù)調(diào)用GPU資源的時候才真正被占用，任務(wù)結(jié)束，資源釋放，回到資源池。 下圖是一個JupyterLab的開發(fā)場景，VSCode server/PyCharm的模式與這個類似，在實際的客戶案例里，使用軟件定義的GPU之后，資源能縮減至25%左右！50個人的開發(fā)團(tuán)隊，16張卡搞定。

圖1: OrionX在AI開發(fā)中動態(tài)調(diào)用卡資源示例

02.?生產(chǎn)環(huán)境的AI推理業(yè)務(wù)

通過調(diào)查，絕大多數(shù)的用戶業(yè)務(wù)為了保證業(yè)務(wù)的隔離性，不受其它AI業(yè)務(wù)的干擾，保障服務(wù)的SLA，都是運行在獨立的GPU卡上。在這種情況下，GPU卡的算力和顯存使用往往不到20%，這樣造成了大量的資源浪費——近80%的算力和顯存其實是被白白消耗，而且還有與之相關(guān)的電費，運維費用。通過軟件定義的方式，提供細(xì)顆粒度的GPU資源復(fù)用單卡，保障業(yè)務(wù)運行的隔離性，可靠性和性能。大部分采取趨動科技池化方案上線生產(chǎn)業(yè)務(wù)的客戶，可獲得3倍以上的提升收益。

圖2: OrionX在生產(chǎn)環(huán)境中的單卡多業(yè)務(wù)復(fù)用示例

03.?晝夜復(fù)用

在前兩種場景中，不管是AI開發(fā)，還是AI線上推理，基本上都是白天比較繁忙，卡利用率相對較高。到了晚間，卡資源基本就處于閑置狀態(tài)，白白浪費！在一個證券客戶那里，我們嘗試著利用OrionX解決這個問題。通過軟件定義的方式，彈性的分配和調(diào)度資源，晚上利用卡資源進(jìn)行訓(xùn)練任務(wù)的運算，大大提升了閑時(夜間)資源利用率。

圖3: OrionX按需對卡進(jìn)行晝夜復(fù)用示例

04.?CPU和GPU的資源配比

大多數(shù)的AI開發(fā)涉及到從數(shù)據(jù)準(zhǔn)備，預(yù)處理，模型訓(xùn)練，調(diào)參，部署模型，線上推理，持續(xù)監(jiān)控，數(shù)據(jù)收集，迭代優(yōu)化的過程。在整個業(yè)務(wù)流程中，有些工作是需要大量CPU，不需要GPU資源的，在CPU運算的時候，其實GPU是閑置的；在一個自動駕駛客戶那里，我們看到在仿真場景下，一個8卡的GPU的服務(wù)器，在CPU耗盡（占用100%）的情況下，最多只能使用到其中的3塊GPU卡，剩下的5張GPU卡處在閑置狀態(tài)，無法被充分利用。同樣的道理，也可能存在GPU卡在大量占用，CPU資源被閑置的情況。通過利用軟件定義的AI算力，將CPU和GPU解耦，一舉解決CPU/GPU資源不匹配的問題。

圖4: OrionX優(yōu)化CPU和GPU資源配比示例

05.?顯存超分

這是我們在一個金融客戶那里遇到的真實案例，我們看到一個大數(shù)據(jù)AI分析流程，運行在1張16G顯存的T4卡上，其需要占用大約20%的算力，12Gb的顯存，服務(wù)常駐用在處理保單的識別和分析。在這種情況下，該卡剩余的80%算力，4Gb（25%）的顯存處在閑置狀態(tài)，無法被使用，成了資源碎片。 要想利用資源碎片，一種思路是找到適合碎片的算力任務(wù)也運行到這張卡（未必好找）。運用軟件定義的虛擬顯存的技術(shù)，使用部分內(nèi)存來補足顯存，讓兩個任務(wù)同時運行在這張卡上。資源不變，通量達(dá)到1.8倍！ 你可能還會想到，如果在跑一個訓(xùn)練任務(wù)的時候，模型所需的物理顯存不夠，是不是也可以用內(nèi)存來補足加載？是的?？梢约虞d運行，但是要付出一定的性能損耗。此方案在必須改模型或要采購大顯存物理卡之外，又提供了一種可能的選擇。

圖5: OrionX顯存超分提升資源利用率示例

以上利用軟件定義GPU的方法來優(yōu)化AI算力的五大場景，只是我們看到的冰山一角。軟件定義GPU所能帶來的業(yè)務(wù)價值，還有待于企業(yè)客戶在各個領(lǐng)域的不停探索。 除此之外，不得不提一下此項技術(shù)額外的Bonus，降低碳排放，保護(hù)地球家園！

圖6: OrionX關(guān)鍵效能指標(biāo)收益對比示例 最后，做個小結(jié)。軟件定義的核心是通過軟件定義的方法，將各種硬件（CPU、內(nèi)存、磁盤、I/0等）變成可以動態(tài)管理的“資源池”，從而提升資源的利用率，簡化系統(tǒng)管理，實現(xiàn)資源整合，讓IT對業(yè)務(wù)的變化更具適應(yīng)力。 軟件定義的AI算力，一方面可以把一顆物理加速芯片（GPU或ASIC）變成幾個或幾十個互相隔離的小的計算單元，也可以把分布在不同物理服務(wù)器上的加速芯片聚合給一個操作系統(tǒng)（物理機/虛擬機）或容器，完成分布式任務(wù)。此外，沒有加速芯片（GPU或ASIC）的CPU服務(wù)器也可以調(diào)用遠(yuǎn)程服務(wù)器上的加速卡(GPU或ASIC)完成AI運算，實現(xiàn)CPU與GPU設(shè)備的解耦。軟件定義實質(zhì)是通過軟件的方法提供更有彈性的硬件。

編輯：黃飛