還記得年初爆火的龍蝦嗎？這類可執(zhí)行的智能體，正悄悄爬進(jìn)產(chǎn)業(yè)，在實(shí)業(yè)場(chǎng)景里爆發(fā)。在鯤鵬昇騰開(kāi)發(fā)者大會(huì)2026現(xiàn)場(chǎng)，給我一種不談智能體直接落伍的感覺(jué)。

中科大團(tuán)隊(duì)讓Agent擔(dān)任機(jī)器化學(xué)家，自主啃下上萬(wàn)篇化學(xué)文獻(xiàn)，甚至自主設(shè)計(jì)實(shí)驗(yàn)、優(yōu)化方案，讓科研不再是試錯(cuò)苦旅。

企業(yè)服務(wù)領(lǐng)域，過(guò)去分析師團(tuán)隊(duì)耗時(shí)半個(gè)月的行業(yè)研報(bào)、競(jìng)品分析與數(shù)據(jù)建模工作，如今數(shù)十個(gè)Agent協(xié)同分工，幾天就能搞定。

而智能體的每一次自主決策、每一輪迭代優(yōu)化，都在驅(qū)動(dòng)Token消耗量攀升。萬(wàn)億Token時(shí)代已經(jīng)到來(lái)，所有行業(yè)、所有企業(yè)都不得不直面一場(chǎng)AI infra的能力大考：AI基礎(chǔ)設(shè)施，我們真的準(zhǔn)備好了嗎？

一方面是業(yè)務(wù)場(chǎng)景的極致復(fù)雜度。在推薦、交互等極致低時(shí)延場(chǎng)景下，毫秒級(jí)的延遲差距能夠直接影響到產(chǎn)品體驗(yàn)與市場(chǎng)競(jìng)爭(zhēng)力，超低延遲、超高吞吐的推理需求成為剛需。

而與此同時(shí)，多數(shù)企業(yè)聚焦模型與應(yīng)用層創(chuàng)新，卻忽視了算力調(diào)度、推理優(yōu)化等底層基建的決定性作用，AI infra的核心價(jià)值被低估。

在全行業(yè)機(jī)遇和挑戰(zhàn)并存的關(guān)鍵期，我在大會(huì)現(xiàn)場(chǎng)深度采訪了國(guó)產(chǎn)推理引擎xLLM項(xiàng)目負(fù)責(zé)人劉童璇。從這支扎根國(guó)產(chǎn)化賽道的技術(shù)團(tuán)隊(duì)身上，看到了AI infra的破局答案，也看到了托舉智能中國(guó)的根源力量。

它孤獨(dú)地站在那里

顯得寂寞而又倔強(qiáng)

似乎即將傾跌進(jìn)深谷里

卻又像是要展翅飛翔……

——《懸崖邊的樹(shù)》

xLLM為什么特殊？海量Token的激增需求，疊加居高不下的算力成本、海外算力生態(tài)的不確定性，讓算力優(yōu)化成為AI落地的最關(guān)鍵問(wèn)題。而推理引擎，下接硬件，通過(guò)深度優(yōu)化來(lái)提升芯片的模型運(yùn)行性能，壓縮大模型的推理耗時(shí)；上接應(yīng)用，高效承接萬(wàn)億Token級(jí)的海量請(qǐng)求。

適配國(guó)產(chǎn)芯片、高性能的國(guó)產(chǎn)推理引擎寥寥無(wú)幾。xLLM的出現(xiàn)，填補(bǔ)了行業(yè)空白。而這，源于一個(gè)懸崖邊的選擇。

時(shí)間撥回2024年下半年，xLLM立項(xiàng)之初，海外算力框架占據(jù)絕對(duì)主流，行業(yè)內(nèi)幾乎沒(méi)有人愿意all in國(guó)產(chǎn)推理引擎的原生研發(fā)。當(dāng)時(shí)，擺在xLLM團(tuán)隊(duì)面前的，是一道終極選擇題：究竟是依附成熟的海外開(kāi)源框架，簡(jiǎn)單適配國(guó)產(chǎn)芯片，做淺層增量改造，還是從零起步，原生自研一套純國(guó)產(chǎn)推理引擎，走一條充滿未知的絕壁之路。

xLLM團(tuán)隊(duì)做出了堅(jiān)定的抉擇，從零搭建全國(guó)產(chǎn)推理體系，不做混合適配、不依附海外框架，徹底扎根國(guó)產(chǎn)算力生態(tài)。

劉童璇反復(fù)而篤定地強(qiáng)調(diào)，如果直接在海外框架上支持國(guó)產(chǎn)芯片，會(huì)受到很大束縛，因?yàn)閲?guó)產(chǎn)芯片生態(tài)與CUDA生態(tài)不同，優(yōu)化手段也不一樣。強(qiáng)行適配會(huì)受到已有框架的束縛，永遠(yuǎn)無(wú)法挖掘國(guó)產(chǎn)算力的極致性能。同時(shí)，企業(yè)做AI必須要有算力壓艙石，唯有原生自研，才能真正為國(guó)產(chǎn)算力量身打造最優(yōu)推理底座，也為企業(yè)業(yè)務(wù)提供可靠可持續(xù)的保障。

從零起步的抉擇，換來(lái)的是極致的技術(shù)自由，卻也伴隨著難以想象的困境。

技術(shù)上的挑戰(zhàn)首當(dāng)其沖。國(guó)產(chǎn)芯片生態(tài)碎片化，各類國(guó)產(chǎn)芯片架構(gòu)迥異，沒(méi)有統(tǒng)一、通用的編程模型，無(wú)法復(fù)刻CUDA體系的成熟適配邏輯。同一大模型，需要針對(duì)不同芯片架構(gòu)單獨(dú)重寫(xiě)、深度調(diào)優(yōu)，適配成本極高。更棘手的是，當(dāng)時(shí)國(guó)產(chǎn)芯片在FP16、INT8等精度的支持不夠，極易出現(xiàn)各類BUG，優(yōu)化效果沒(méi)人敢打包票。

同時(shí)，國(guó)內(nèi)缺乏原生國(guó)產(chǎn)高性能推理引擎的通用方案，這支以95后工程師為核心的年輕團(tuán)隊(duì)，成員大多沒(méi)有從0到1建立推理引擎的經(jīng)驗(yàn)，面對(duì)復(fù)雜的底層架構(gòu)設(shè)計(jì)與全鏈路優(yōu)化工作，難免缺乏信心。

起步階段，是整個(gè)研發(fā)周期中最艱難時(shí)期。面對(duì)懸崖絕境般的困境，團(tuán)隊(duì)放棄廣撒網(wǎng)的適配思路，沒(méi)有盲目鋪開(kāi)試水，集中錨定DeepSeekV3/R1模型，死磕單一模型的國(guó)產(chǎn)化推理優(yōu)化。

于懸崖邊扎根，在逆境中生長(zhǎng)，xLLM恰如崖柏，展現(xiàn)出頑強(qiáng)的技術(shù)生命力。項(xiàng)目正式開(kāi)源之前，團(tuán)隊(duì)終于對(duì)自建全國(guó)產(chǎn)推理引擎這件事有了信心。

一棵樹(shù)，彼此孤離地兀立著……但在泥土的覆蓋下，它們的根伸長(zhǎng)著。在看不見(jiàn)的深處，它們把根須糾纏在一起——艾青《樹(shù)》

認(rèn)定全國(guó)產(chǎn)這條路能跑通的轉(zhuǎn)折點(diǎn)，出現(xiàn)在項(xiàng)目開(kāi)源之前的性能攻堅(jiān)階段。

在長(zhǎng)達(dá)數(shù)月的全鏈路深耕與芯片聯(lián)調(diào)后，xLLM的優(yōu)化能力迎來(lái)了質(zhì)的飛躍，將原本毫秒級(jí)的調(diào)度間隙壓縮至百微秒以下，讓國(guó)產(chǎn)硬件的性能得以極致釋放。

在此之前，行業(yè)普遍感知到，國(guó)產(chǎn)芯片的性能與N卡存在天然差距，大約只有海外先進(jìn)芯片的60%—70%。但xLLM徹底打破了這一認(rèn)知。在同等模型、同等部署條件下，xLLM賦能昇騰芯片跑出的推理性能，能夠達(dá)到H200的80%—90%。

在劉童璇看來(lái)，這一性能表現(xiàn)，是國(guó)產(chǎn)軟硬件深度協(xié)同的系統(tǒng)性勝利。既源于xLLM框架層的架構(gòu)革新與算法優(yōu)化，也得益于與國(guó)產(chǎn)芯片廠商的緊密合作，優(yōu)化涵蓋了從上到下的整個(gè)鏈路，包括推理引擎框架層的優(yōu)化和底層計(jì)算方法的改進(jìn)。

比如說(shuō)，昇騰CANN、Mind系列開(kāi)源軟件棧，具備完善的算子適配、模型兼容能力，能夠高效匹配xLLM的自研架構(gòu)，大幅降低原生推理引擎的適配成本與改造難度。

此外，xLLM也得到了昇騰社區(qū)的高效響應(yīng)。雙方建立了常態(tài)化深度協(xié)同機(jī)制，通過(guò)每周技術(shù)例會(huì)同步迭代進(jìn)度、攻克技術(shù)難題，昇騰甚至派團(tuán)隊(duì)常駐亦莊，與xLLM團(tuán)隊(duì)聯(lián)合辦公，從方案打磨、技術(shù)攻堅(jiān)到場(chǎng)景落地全流程共建，實(shí)現(xiàn)技術(shù)迭代無(wú)縫銜接。

結(jié)果就是，xLLM的原生架構(gòu)設(shè)計(jì)與昇騰超節(jié)點(diǎn)的技術(shù)特性高度契合，形成獨(dú)一無(wú)二的軟硬協(xié)同優(yōu)勢(shì)，基于昇騰在推理性能上獲得更優(yōu)表現(xiàn)，在分布式推理、高并發(fā)吞吐場(chǎng)景下，能實(shí)現(xiàn)性能最大化。

隨后，xLLM逐步完成了其他主流國(guó)產(chǎn)芯片的深度適配與優(yōu)化，以及與DeepSeek、Qwen、GLM等頭部模型廠商的深度協(xié)同。

通過(guò)推理引擎，零散的國(guó)產(chǎn)芯片廠商、技術(shù)團(tuán)隊(duì)、模型生態(tài)被串聯(lián)在一起，根系相連，能力互補(bǔ)，形成產(chǎn)業(yè)合力?？梢哉f(shuō)，xLLM的性能突破之路，也是國(guó)產(chǎn)AI生態(tài)聚力共生、聚木成林的一個(gè)縮影。

與國(guó)際頂尖硬件掰手腕的實(shí)測(cè)成果，給了xLLM團(tuán)隊(duì)極大的信心，國(guó)產(chǎn)化自研路線完全可行。一個(gè)新的命題隨之而來(lái)：一項(xiàng)原生技術(shù)，如何真正走出代碼，走進(jìn)真實(shí)產(chǎn)業(yè)場(chǎng)景？開(kāi)源，成了唯一也是最佳的答案。

2025年8月，xLLM正式在Github開(kāi)源，開(kāi)放給全行業(yè)共同使用和創(chuàng)新。但上傳源代碼只是開(kāi)始，真正的挑戰(zhàn)是如何被開(kāi)發(fā)者用起來(lái)，吸引更多的人參與到項(xiàng)目中，甚至成為社區(qū)貢獻(xiàn)者？

深耕產(chǎn)業(yè)多年的劉童璇，十分清楚技術(shù)研發(fā)與業(yè)務(wù)落地之間，存在巨大的gap。比如說(shuō)，產(chǎn)業(yè)生產(chǎn)環(huán)境復(fù)雜多變、需求碎片化，對(duì)框架的穩(wěn)定性要求極致嚴(yán)苛；開(kāi)發(fā)者從早已習(xí)慣成熟的CUDA生態(tài)向國(guó)產(chǎn)CANN生態(tài)切換時(shí)普遍存在成本顧慮。

這些問(wèn)題不解決，xLLM在開(kāi)源社區(qū)的競(jìng)爭(zhēng)力和生命力就無(wú)從談起。

下定決心做大生態(tài)，xLLM走出了最為關(guān)鍵的三步：

第一步，性能，性能，還是性能。

劉童璇認(rèn)為，推理引擎的性能是芯片廠商、模型廠商與行業(yè)客戶都最在意的指標(biāo)，也是推理引擎最剛性的競(jìng)爭(zhēng)力所在。以國(guó)產(chǎn)芯片廠商為例，都以客戶需求為導(dǎo)向，需要適配各家企業(yè)的私有框架，多數(shù)框架無(wú)法釋放國(guó)產(chǎn)芯片極致算力，導(dǎo)致國(guó)產(chǎn)硬件空有硬件底座，卻難以跑出匹配產(chǎn)業(yè)需求的推理效率。

xLLM始終將性能優(yōu)化作為核心底色，持續(xù)壓縮推理時(shí)延、拉高吞吐上限，堅(jiān)定沖刺1毫秒以下超低推理耗時(shí)目標(biāo)，在生成式推薦、大模型對(duì)話、多模態(tài)生成、工業(yè)智能巡檢等剛需場(chǎng)景中，實(shí)現(xiàn)數(shù)十倍的性能提升。團(tuán)隊(duì)主動(dòng)聯(lián)動(dòng)頭部模型廠商，首發(fā)適配GLM4.6V、GLM4.7等主流國(guó)產(chǎn)模型，讓各類國(guó)產(chǎn)大模型都能在國(guó)產(chǎn)芯片上釋放最優(yōu)性能。

第二步，得到來(lái)自真實(shí)業(yè)務(wù)驗(yàn)證的能力背書(shū)。

開(kāi)源技術(shù)的最大短板，在于缺少大規(guī)模線上生產(chǎn)環(huán)境的打磨。純實(shí)驗(yàn)室、純社區(qū)驅(qū)動(dòng)的框架，一旦落地到復(fù)雜集群、低容錯(cuò)的產(chǎn)業(yè)場(chǎng)景中，可能出現(xiàn)各類問(wèn)題，這也是產(chǎn)業(yè)用戶不敢直接使用開(kāi)源版本的顧慮。

xLLM與生俱來(lái)的優(yōu)勢(shì)，就是誕生于產(chǎn)業(yè)，依托海量真實(shí)業(yè)務(wù)場(chǎng)景完成全鏈路打磨。相較于傳統(tǒng)推薦模型，新一代大模型結(jié)構(gòu)的生成式推薦模型泛化能力更強(qiáng)，能夠顯著提升商品推薦精準(zhǔn)度與用戶購(gòu)買轉(zhuǎn)化率。但大模型的超大參數(shù)，也導(dǎo)致推理耗時(shí)激增，并發(fā)承載困難，嚴(yán)重制約產(chǎn)業(yè)落地。xLLM將超大模型的推理時(shí)延極致壓縮，拉升電商轉(zhuǎn)化率的同時(shí)，機(jī)器硬件成本降低90%。

與此同時(shí)，這套方案已經(jīng)成為眾多運(yùn)營(yíng)商、大型央國(guó)企、互聯(lián)網(wǎng)企業(yè)的選擇。

第三步，依托昇騰生態(tài)，打通技術(shù)落地的推廣gap。

xLLM立項(xiàng)之初便原生適配昇騰CANN體系，消解了生態(tài)遷移成本，徹底解決了行業(yè)最頭疼的兼容適配難題，大幅降低全產(chǎn)業(yè)落地門(mén)檻，迅速融入國(guó)產(chǎn)算力核心生態(tài)體系，雙方合力打造標(biāo)準(zhǔn)化行業(yè)解決方案。昇騰成熟的產(chǎn)業(yè)渠道、客戶體系、生態(tài)伙伴資源，為xLLM提供了廣闊的落地場(chǎng)景。如今，xLLM已廣泛落地電力、能源、政務(wù)、交通等關(guān)鍵領(lǐng)域。

當(dāng)昇騰依托開(kāi)源的xLLM框架，將大模型推理能力封裝進(jìn)智能一體機(jī)，成功部署至邊遠(yuǎn)地區(qū)電站并落地電力智能巡檢場(chǎng)景時(shí)，劉童璇深刻感受到了代碼守護(hù)國(guó)計(jì)民生的力量。

xLLM從一株懸崖邊的崖柏，乘開(kāi)源之風(fēng)，聚開(kāi)發(fā)者之力，成長(zhǎng)成一片產(chǎn)學(xué)研用共同參與的森林。xLLM的成長(zhǎng)過(guò)程，也是填平技術(shù)與產(chǎn)業(yè)斷層、加速國(guó)產(chǎn)AI生態(tài)起飛的過(guò)程，中國(guó)的AI產(chǎn)業(yè)已為迎接智能體與萬(wàn)億Token時(shí)代的全面爆發(fā)做好了準(zhǔn)備。

xLLM推理引擎，推動(dòng)國(guó)產(chǎn)模型與國(guó)產(chǎn)芯片的適配，讓行業(yè)AI應(yīng)用牢牢扎根在自主創(chuàng)新的算力底座之上，為智能體時(shí)代的到來(lái)筑實(shí)了根基。

如今，多模態(tài)普及、智能體自主協(xié)同、億級(jí)超長(zhǎng)上下文場(chǎng)景落地，正在倒逼整個(gè)推理體系重構(gòu)。劉童璇認(rèn)為，國(guó)產(chǎn)推理引擎必須解決幾個(gè)新的難題，一是延遲。智能體連續(xù)決策、實(shí)時(shí)交互、生成式推薦等場(chǎng)景，1毫秒以下甚至百微秒級(jí)超低延遲成為產(chǎn)業(yè)標(biāo)配，對(duì)推理時(shí)延提出極致要求。二是全模態(tài)。AI應(yīng)用從單一文本生成，走向圖文、音視頻、三維內(nèi)容融合的全模態(tài)時(shí)代，推理框架必須支持全模態(tài)的輸入輸出能力。三是億級(jí)上下文。行業(yè)向億級(jí)超長(zhǎng)上下文演進(jìn)，對(duì)推理系統(tǒng)形成全新考驗(yàn)。

萬(wàn)億Token帶來(lái)了行業(yè)的結(jié)構(gòu)性機(jī)遇，而抓住機(jī)遇的前提，是應(yīng)對(duì)好技術(shù)趨勢(shì)對(duì)推理架構(gòu)的挑戰(zhàn)。生態(tài)共建，成為中國(guó)AI破解所有難題的關(guān)鍵。

國(guó)產(chǎn)算力、模型與AI人才，是驅(qū)動(dòng)國(guó)內(nèi)產(chǎn)業(yè)智能化必不可少的三駕馬車。生態(tài)能夠匯聚不同芯片廠商、模型團(tuán)隊(duì)、行業(yè)開(kāi)發(fā)者共同參與，持續(xù)縮小與海外AI軟硬件的差距。此外，單一團(tuán)隊(duì)、單一企業(yè)無(wú)法承接時(shí)代級(jí)的產(chǎn)業(yè)變革，國(guó)產(chǎn)AI人才是千行百業(yè)應(yīng)用創(chuàng)新的源頭。

因此，xLLM一方面深度聯(lián)動(dòng)清華、北大、北航、中科大、北郵、天大等十余所頂尖高校，聯(lián)動(dòng)數(shù)十位高校導(dǎo)師、近五十名實(shí)習(xí)生共建研發(fā)。同時(shí)，聯(lián)合昇騰生態(tài)，打造社區(qū)+高校+產(chǎn)業(yè)三位一體的人才培育體系，在華為ICT大賽等官方賽事，拋出“百微秒級(jí)推理耗時(shí)優(yōu)化”等產(chǎn)業(yè)命題，鼓勵(lì)青年開(kāi)發(fā)者在實(shí)戰(zhàn)中錘煉能力，挖掘具備產(chǎn)業(yè)潛力的創(chuàng)新人才。后續(xù)，xLLM社區(qū)將持續(xù)加大開(kāi)放力度，降低參與門(mén)檻，通過(guò)任務(wù)拆解、規(guī)劃公開(kāi)、輕量化入局的模式，讓學(xué)生開(kāi)發(fā)者、中小企業(yè)研發(fā)團(tuán)隊(duì)，即使沒(méi)有龐大算力與人力資源，也能參與到國(guó)產(chǎn)AI技術(shù)的發(fā)展中來(lái)。

曾經(jīng)空白的國(guó)產(chǎn)推理引擎，已根深葉茂；曾經(jīng)貧瘠的國(guó)產(chǎn)算力，已厚植沃土；曾經(jīng)各自為戰(zhàn)的國(guó)產(chǎn)AI生態(tài)，也有了根系交織、生機(jī)盎然的景象。當(dāng)我們站在智能體AI時(shí)代的大門(mén)之前，終于有了底氣。

每一個(gè)開(kāi)發(fā)者，都是中國(guó)AI產(chǎn)業(yè)的種子，扎根在各自的領(lǐng)域與崗位，讓國(guó)產(chǎn)軟硬件生根發(fā)芽。當(dāng)無(wú)數(shù)應(yīng)用之花在行業(yè)綻放，時(shí)間將會(huì)銘記，這是所有中國(guó)開(kāi)發(fā)者用一行行代碼寫(xiě)就的，不屈的春天。

那就用《種子的夢(mèng)》來(lái)結(jié)尾吧：

為了沖破那土層的壓力，

我一點(diǎn)一滴地積攢著力氣。

我思念那明媚的陽(yáng)光，

我思念那遼闊的大地……

審核編輯 黃宇