6月6日，由沐曦股份聯(lián)合SGLang開源社區(qū)、阿里云、龍蜥社區(qū)、騰訊云及融科資訊中心舉辦的“沐曦芯生，開源共創(chuàng)——SGLang技術(shù)交流Meetup”，在北京圓滿舉辦。

本次Meetup不僅集結(jié)了沐曦股份、SGLang開源社區(qū)、阿里云、龍蜥社區(qū)與騰訊云的多位核心開發(fā)人員與技術(shù)專家，還定向邀請(qǐng)了100多名獨(dú)立開發(fā)者與高校學(xué)生到場(chǎng)。圍繞SGLang開源生態(tài)演進(jìn)、大模型推理性能優(yōu)化與工程落地、異構(gòu)算力適配等核心議題，整場(chǎng)技術(shù)交流活動(dòng)展開了深入探討與思維碰撞。

五大主題演講：聚焦SGLang生態(tài)，覆蓋推理全技術(shù)鏈路

今年以來，OpenClaw“龍蝦”Agent智能體風(fēng)靡全球，PD分離、長(zhǎng)上下文的KV Cache顯存利用、多智能體推理成為了AI行業(yè)熱議話題。本次Meetup活動(dòng)共設(shè)置五場(chǎng)主題演講與一場(chǎng)圓桌對(duì)話，從底層可觀測(cè)性到上層多智能體推理架構(gòu)，從社區(qū)前沿演進(jìn)到落地工程實(shí)踐，完整勾勒了SGLang推理生態(tài)的技術(shù)版圖。

SGLang Core Maintainer（SGLang社區(qū)核心維護(hù)者）童心源率先登臺(tái)，帶來了《SGLang Roadmap：面向大模型與多模態(tài)模型的高性能開源推理系統(tǒng)》主題演講。演講系統(tǒng)介紹了SGLang 開源推理框架的發(fā)展歷史，并重點(diǎn)講解了SGLang在 PD分離、多模態(tài)模型與硬件支持、以RL/post-training（強(qiáng)化學(xué)習(xí)/后訓(xùn)練）部署等關(guān)鍵技術(shù)場(chǎng)景的創(chuàng)新突破，以及其在開源社區(qū)協(xié)作的進(jìn)展與最新性能優(yōu)化路線圖。

阿里云工程師、SGLang Developer蘇峰與常懷鑫則分享了題為《從全鏈路可觀測(cè)到智能分析：AI性能分析范式的演進(jìn)與實(shí)踐》的演講。兩位嘉賓在演講中回顧了SGLang Tracing的可觀測(cè)性建設(shè)歷程，并結(jié)合具體案例探討如何利用AI Agent實(shí)現(xiàn)SGLang框架的性能優(yōu)化。

活動(dòng)下半場(chǎng)，阿里云高級(jí)技術(shù)專家馬騰上臺(tái)發(fā)表了《記憶感知驅(qū)動(dòng)：基于Mooncake的多智能體推理架構(gòu)優(yōu)化》主題演講深入剖析了Mooncake如何以KV Cache顯存為“物理工作記憶”載體，并通過PD分離架構(gòu)與全局共享KV Cache顯存池，實(shí)現(xiàn)多智能體場(chǎng)景“一次計(jì)算、全局共享”的記憶復(fù)用。

騰訊云高級(jí)工程師陳凱悅分享了《從社區(qū)到生產(chǎn)：基于SGLang HiCache + Mooncake的深度優(yōu)化與企業(yè)級(jí)落地工程實(shí)踐》，還原了如何將HiCache與Mooncake規(guī)?；渴鸬絻?nèi)部推理集群、以及落地企業(yè)客戶環(huán)境中的具體實(shí)踐。

沐曦股份SGLang推理引擎核心開發(fā)者楊鑫壓軸登場(chǎng)，帶來《沐曦GPU對(duì)SGLang的深度適配與工程實(shí)踐》主題演講，詳細(xì)介紹了SGLang在沐曦GPU上的適配流程、沐曦自研MXMACA軟件棧、最新模型適配情況與性能優(yōu)化實(shí)踐。

針對(duì)主題演講的硬核分享，現(xiàn)場(chǎng)觀眾踴躍提問，結(jié)合實(shí)際開發(fā)部署中遇到的具體問題，與嘉賓現(xiàn)場(chǎng)積極探討各種可能的解決方案。

圓桌對(duì)話：異構(gòu)算力下的推理效能革命

圓桌環(huán)節(jié)由沐曦AI研究院院長(zhǎng)李兆石主持，童心源、常懷鑫、馬騰、陳凱悅與沐曦股份SGLang項(xiàng)目核心開發(fā)者王志鵬五位技術(shù)專家共同參與，圍繞“異構(gòu)算力下的推理效能革命：SGLang前沿優(yōu)化與企業(yè)落地實(shí)踐”展開展開討論。針對(duì)百萬長(zhǎng)下文的KV Cache利用策略、AI存儲(chǔ)需求的趨勢(shì)走向、AI云端與本地部署的方案選擇等熱點(diǎn)話題，圓桌嘉賓分享了各自的洞察與思考。

結(jié)語

本次SGLang技術(shù)交流Meetup是沐曦股份在開源生態(tài)建設(shè)中的一次深度實(shí)踐。

作為國(guó)產(chǎn)高性能GPU企業(yè)，沐曦股份始終秉持“全棧自研+生態(tài)兼容”戰(zhàn)略，圍繞MXMACA軟件棧持續(xù)投入上游開源社區(qū)建設(shè)。從MXMACA軟件棧深度兼容SGLang、vLLM在內(nèi)的40多種AI框架，到公司與阿里云、騰訊云、龍蜥開源社區(qū)等伙伴的聯(lián)合創(chuàng)新，沐曦股份正以“技術(shù)共建者”之姿，推動(dòng)國(guó)產(chǎn)GPU在大模型推理基礎(chǔ)設(shè)施中的實(shí)質(zhì)性落地。

面向未來，沐曦股份將持續(xù)深化與SGLang等開源社區(qū)的技術(shù)協(xié)同，在推理性能優(yōu)化、模型適配廣度、開發(fā)者工具鏈等維度加速迭代，為國(guó)產(chǎn)算力從“能用”走向“好用”提供堅(jiān)實(shí)的底座。

關(guān)于沐曦股份

沐曦股份致力于自主研發(fā)全棧高性能GPU芯片及計(jì)算平臺(tái)，為智算、通用計(jì)算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟(jì)發(fā)展。