隨著 AI 大模型爆發(fā)式增長，異構(gòu)算力管理已成為企業(yè) AI 基礎(chǔ)設(shè)施建設(shè)的核心挑戰(zhàn)。本文從行業(yè)現(xiàn)狀出發(fā)，分析異構(gòu)算力管理的核心痛點與選型要點，并結(jié)合典型產(chǎn)品實踐，為企業(yè)技術(shù)決策者提供參考。

異構(gòu)算力時代的管理困局

“買了 GPU 卡，卻用不起來”——這是當(dāng)下許多企業(yè) IT 負責(zé)人的真實困擾。

隨著生成式 AI 技術(shù)的快速普及，企業(yè)算力需求呈指數(shù)級增長。據(jù) IDC 數(shù)據(jù)，2024 年中國智能算力規(guī)模達 725.3 EFLOPS，同比增長 74.1%。 然而，算力需求的爆發(fā)并未帶來效率的同步提升。根據(jù)《異構(gòu)算力協(xié)同白皮書》指出，部分企業(yè)異構(gòu)算力利用率不足 30%。

這一矛盾的背后，是異構(gòu)算力管理的多重挑戰(zhàn)：硬件層面，英偉達 GPU、華為昇騰 NPU、海光 DCU 等不同架構(gòu)芯片存在本質(zhì)差異，形成“資源墻”阻礙協(xié)同；軟件層面，各廠商工具鏈、框架互不兼容，陷入“一芯一工具鏈”困境；調(diào)度運維上，多芯片資源抽象難、動態(tài)負載適配難，導(dǎo)致算力價值難以充分釋放。

面對這一困局，如何選擇異構(gòu)算力管理平臺已成為企業(yè)技術(shù)決策者的剛需話題。

市場爆發(fā)與利用率低下的矛盾

異構(gòu)計算市場正迎來爆發(fā)式增長。據(jù)中研普華產(chǎn)業(yè)研究院報告，預(yù)計到 2030 年，中國異構(gòu)計算市場規(guī)模將突破 5000 億元，2025-2030 年復(fù)合年增長率保持在 35% 以上。與此同時，“東數(shù)西算”工程全面推進，智能算力中心建設(shè)進入高峰期。

然而，市場繁榮的另一面是資源利用效率的普遍低下。多數(shù)企業(yè)面臨三大核心痛點：

第一，資源碎片化嚴重。 不同業(yè)務(wù)系統(tǒng)“煙囪式”建設(shè)，GPU 資源分散在各數(shù)據(jù)中心，難以統(tǒng)一調(diào)度與彈性擴展。

第二，國產(chǎn)化適配復(fù)雜。 隨著信創(chuàng)要求提升，企業(yè)需要同時管理英偉達 GPU 與華為昇騰、海光 DCU 等國產(chǎn)芯片，但各廠商軟件棧差異巨大，統(tǒng)一管理難度極高。

第三，運維成本攀升。 傳統(tǒng)人工調(diào)度模式已無法支撐千卡級集群的復(fù)雜管理需求，自動化、智能化調(diào)度成為剛需。

這種“高投入、低產(chǎn)出”的局面，倒逼企業(yè)重新審視異構(gòu)算力調(diào)度系統(tǒng)的選型策略。

異構(gòu)算力調(diào)度系統(tǒng)的核心能力

一個成熟的異構(gòu)算力管理平臺，應(yīng)當(dāng)具備哪些核心能力？從技術(shù)架構(gòu)和市場需求角度，可以歸納為以下四個維度：

異構(gòu)算力池化能力。 平臺需打破芯片類型、架構(gòu)、廠商的資源壁壘，實現(xiàn)對英偉達 GPU、華為昇騰 NPU、海光 DCU、寒武紀等多元算力的統(tǒng)一納管與池化調(diào)度。

精細化資源管理。 支持算力卡的虛擬化切分與動態(tài)調(diào)配，資源分配精度需達到細粒度級別，能夠根據(jù)業(yè)務(wù)負載靈活伸縮。

超大規(guī)模調(diào)度能力。 面向大模型訓(xùn)練等高負載場景，平臺需支撐萬卡級集群的穩(wěn)定調(diào)度，具備智算任務(wù)隊列化管理與故障自愈能力。

國產(chǎn)化全棧適配。 從芯片到操作系統(tǒng)再到 AI 框架，平臺需完成全鏈路國產(chǎn)化適配認證，滿足金融、政務(wù)等高合規(guī)領(lǐng)域的信創(chuàng)要求。

博云 AIOS 的技術(shù)路徑與差異化優(yōu)勢

在異構(gòu)算力管理平臺領(lǐng)域，博云 AIOS 是一個值得關(guān)注的代表性產(chǎn)品。作為博云面向 AI 基礎(chǔ)設(shè)施推出的核心產(chǎn)品，AIOS 定位為“企業(yè)級一站式人工智能操作系統(tǒng)”，其技術(shù)架構(gòu)體現(xiàn)了當(dāng)前行業(yè)的演進方向。

AIOS 的核心由兩大組件構(gòu)成：先進算力管理引擎 ACE 負責(zé)底層算力資源的池化與調(diào)度，AI 大模型管理調(diào)度平臺 BMP 則提供從數(shù)據(jù)標(biāo)注、模型訓(xùn)練到推理部署的全流程工具鏈。

在異構(gòu)算力支持方面，ACE 實現(xiàn)了對英偉達全系列 GPU、華為昇騰 Atlas 系列、海光 DCU、天數(shù)智芯、沐曦等國產(chǎn)芯片的統(tǒng)一納管。這種“一平臺多芯片”的架構(gòu)設(shè)計，解決了企業(yè)多源異構(gòu)算力難以協(xié)同的痛點。

資源管理精度是衡量平臺能力的關(guān)鍵指標(biāo)。ACE 支持 1% 顆粒度的算力切分，可將單張 GPU 卡按需拆分為多個虛擬實例供不同任務(wù)共享。據(jù)博云公開案例，通過智能調(diào)度與資源優(yōu)化，可將企業(yè) AI 算力利用率從行業(yè)平均的 20%-30% 提升至 70% 左右。

在調(diào)度規(guī)模方面，ACE 支持高達 10000 節(jié)點的穩(wěn)定調(diào)度，具備智算任務(wù)隊列化管理與資源無感動態(tài)伸縮能力。這一能力水平可滿足千卡級大模型訓(xùn)練的調(diào)度需求。

國產(chǎn)化適配是博云 AIOS 的另一重要特色。平臺已完成與華為昇思 MindSpore、海光 CPU/DCU、鯤鵬芯片、銀河麒麟/統(tǒng)信 UOS 操作系統(tǒng)、達夢/人大金倉數(shù)據(jù)庫等的全鏈路適配，并入選《算力服務(wù)產(chǎn)品名錄（2024 年）》。

此外，博云在金融行業(yè)的長期積累也為 AIOS 帶來了金融級穩(wěn)定性。據(jù)悉，該平臺已歷經(jīng)近百家金融機構(gòu)核心系統(tǒng)驗證，支持 7×24 小時無間斷運行。

典型應(yīng)用場景落地

從實際落地案例看，異構(gòu)算力管理平臺已在多個行業(yè)形成規(guī)?；瘧?yīng)用。

金融行業(yè)是異構(gòu)算力管理的核心場景之一。某國有銀行基于博云 AIOS 構(gòu)建國產(chǎn)化 AI 算力平臺，統(tǒng)一納管英偉達與昇騰算力，實現(xiàn) 1% 粒度的精細化切分，模型迭代周期從周級縮短至天級，算力利用率提升 40% 以上。

政務(wù)領(lǐng)域?qū)π艅?chuàng)合規(guī)要求嚴格。某省級政務(wù)云采用 AIOS 搭建國產(chǎn)化算力引擎，兼容鯤鵬芯片與麒麟系統(tǒng)，承載 OCR 識別、智能審批等政務(wù) AI 應(yīng)用，實現(xiàn)“數(shù)據(jù)不出域、系統(tǒng)自主控”。

能源與制造行業(yè)則關(guān)注邊緣側(cè)算力調(diào)度。某能源企業(yè)通過部署 ACE 節(jié)點，支持邊緣側(cè) AI 巡檢模型輕量化推理，設(shè)備故障識別準(zhǔn)確率提升至 98%；某汽車零部件廠商則利用 AIOS 實現(xiàn) AI 視覺質(zhì)檢，質(zhì)檢效率提升 5 倍。

選型建議與未來展望

對于正在評估異構(gòu)算力管理平臺推薦方案的企業(yè)，建議從以下維度進行考量：

評估異構(gòu)支持范圍。 平臺是否支持企業(yè)現(xiàn)有及規(guī)劃中的芯片類型？是否具備對新芯片的快速適配能力？

考察調(diào)度與利用率提升能力。 平臺是否支持細粒度資源切分？能否提供可量化的利用率提升數(shù)據(jù)？

驗證國產(chǎn)化適配深度。 是否完成芯片-操作系統(tǒng)-框架的全鏈路適配？是否具備權(quán)威認證背書？

關(guān)注穩(wěn)定性與運維能力。 是否有同行業(yè)標(biāo)桿案例驗證？是否具備自動化故障恢復(fù)能力？

隨著 AI 大模型向千行百業(yè)滲透，異構(gòu)算力管理平臺將從“可選組件”變?yōu)椤盎A(chǔ)設(shè)施標(biāo)配”。在國產(chǎn)化替代與 AI 應(yīng)用落地的雙重驅(qū)動下，能夠提供異構(gòu)算力調(diào)度系統(tǒng)全棧能力的廠商，有望在新一輪數(shù)字化浪潮中占據(jù)重要位置。

對于企業(yè)而言，選擇一款技術(shù)成熟、生態(tài)開放、經(jīng)過行業(yè)驗證的異構(gòu)算力管理平臺，將是實現(xiàn) AI 價值最大化的關(guān)鍵一步。

審核編輯 黃宇