來源：Gitee

國產(chǎn) AI 芯片廠商燧原科技，近日以開源組織身份正式入駐 Gitee。

燧原科技成立于 2018 年，總部位于上海張江，是國內(nèi)同時具備高性能云端訓(xùn)練與推理能力的 AI 芯片企業(yè)。

成立近 8 年來，公司自研迭代了四代架構(gòu) 5 款云端 AI 芯片，產(chǎn)品體系覆蓋 AI 芯片、AI 加速卡及模組、智算系統(tǒng)及集群和 AI 計算及編程軟件平臺。

作為模力方舟的深度生態(tài)合作伙伴，此次入駐 Gitee 標(biāo)志著燧原在開源生態(tài)建設(shè)上邁出了重要一步。

燧原科技組織鏈接：

https://gitee.com/EnflameTechnology

已開源項目：聚焦大模型推理軟件棧

燧原在 Gitee 上的開源內(nèi)容，圍繞其自研 GCU（General Computing Unit）構(gòu)建的大模型推理軟件棧展開，目前已上線 4 個項目：

vllm-gcu：基于原生 vLLM 框架適配 Enflame GCU（S60）的大模型推理系統(tǒng)，讓開發(fā)者在國產(chǎn) GCU 硬件上直接復(fù)用 vLLM 生態(tài)能力，降低從 CUDA 生態(tài)遷移的成本。

FFmpeg-GCU：基于燧原 topscodec 編解碼能力的 FFmpeg 插件，將視頻編解碼環(huán)節(jié)卸載到 GCU 硬件加速，適用于視頻理解、直播審核等需要前處理加速的場景。

ModelZoo：燧原開發(fā)維護的模型合集，涵蓋 CV、NLP、推薦系統(tǒng)等領(lǐng)域的經(jīng)典和 SOTA 模型訓(xùn)練與推理示例，可用于 GCU 上的模型兼容性驗證和性能基準(zhǔn)測試。

candle-vllm-gcu：基于 Rust 語言 Candle 框架的 GCU 推理實現(xiàn)，為偏好 Rust 技術(shù)?；?qū)Σ渴痼w積有嚴(yán)格要求的開發(fā)者提供區(qū)別于 Python 生態(tài)的推理路徑。

軟件棧全景：從驅(qū)動到平臺的完整分層

從燧原公布的大模型推理軟件棧架構(gòu)圖來看，整體分為六層：

最底層是驅(qū)動層（KMD、EFSMI），負(fù)責(zé)硬件資源管理和監(jiān)控。

其上是工具鏈層，包含 Triton-GCU、TileLang-GCU 等領(lǐng)域?qū)Ｓ谜Z言編譯工具，以及 TopsGDB、TopsProf、Visual Profiler 等開發(fā)調(diào)試工具，為算子開發(fā)和性能調(diào)優(yōu)提供基礎(chǔ)支撐。

庫層集中了計算加速的核心組件：Topsop 算子庫、GCU 加速庫、KV Cache Library 以及通信庫。這些組件直接決定了大模型推理中 Attention 計算、KV Cache 管理和多卡通信的實際效率。

框架層以 Torch-GCU 為核心，向上承接 vLLM-GCU 和 vLLM-Omni-GCU，讓主流推理框架可以透明地調(diào)度 GCU 算力。

模型層的 Model Zoo 覆蓋了文本大語言模型、代碼編程大模型、視覺語言大模型、嵌入與檢索模型、語音處理大模型和多模態(tài)大模型六大類。

平臺層則提供 Docker 鏡像、TopsClouds 云服務(wù)和 TopsEngine、TopsPilot 等解決方案。

值得關(guān)注的是，架構(gòu)圖中綠色標(biāo)注的組件為燧原后續(xù)計劃開源的項目。這意味著當(dāng)前開源的 4 個倉庫只是起點，未來將有更多底層庫和工具鏈代碼進入燧原的開源體系。

國產(chǎn)算力生態(tài)：開源只是第一步

對于正在評估國產(chǎn) AI 芯片方案的團隊，燧原提供了一個低門檻的技術(shù)驗證入口：直接拉取代碼，在 GCU 環(huán)境中編譯運行。

此外，模力方舟算力市場已上線燧原算力資源，開發(fā)者可直接在線調(diào)用，還有剛剛上線的國產(chǎn) AI 芯片技能認(rèn)證，則為有意深入國產(chǎn)算力開發(fā)的工程師提供了從基礎(chǔ)適配到性能調(diào)優(yōu)的系統(tǒng)化學(xué)習(xí)路徑。