6月6日,由沐曦股份聯(lián)合SGLang開源社區(qū)、阿里云、龍蜥社區(qū)、騰訊云及融科資訊中心舉辦的“沐曦芯生,開源共創(chuàng)——SGLang技術(shù)交流Meetup”,在北京圓滿舉辦。
本次Meetup不僅集結(jié)了沐曦股份、SGLang開源社區(qū)、阿里云、龍蜥社區(qū)與騰訊云的多位核心開發(fā)人員與技術(shù)專家,還定向邀請(qǐng)了100多名獨(dú)立開發(fā)者與高校學(xué)生到場(chǎng)。圍繞SGLang開源生態(tài)演進(jìn)、大模型推理性能優(yōu)化與工程落地、異構(gòu)算力適配等核心議題,整場(chǎng)技術(shù)交流活動(dòng)展開了深入探討與思維碰撞。
五大主題演講:聚焦SGLang生態(tài),覆蓋推理全技術(shù)鏈路
今年以來,OpenClaw“龍蝦”Agent智能體風(fēng)靡全球,PD分離、長(zhǎng)上下文的KV Cache顯存利用、多智能體推理成為了AI行業(yè)熱議話題。本次Meetup活動(dòng)共設(shè)置五場(chǎng)主題演講與一場(chǎng)圓桌對(duì)話,從底層可觀測(cè)性到上層多智能體推理架構(gòu),從社區(qū)前沿演進(jìn)到落地工程實(shí)踐,完整勾勒了SGLang推理生態(tài)的技術(shù)版圖。
SGLang Core Maintainer(SGLang社區(qū)核心維護(hù)者)童心源率先登臺(tái),帶來了《SGLang Roadmap:面向大模型與多模態(tài)模型的高性能開源推理系統(tǒng)》主題演講。演講系統(tǒng)介紹了SGLang 開源推理框架的發(fā)展歷史,并重點(diǎn)講解了SGLang在 PD分離、多模態(tài)模型與硬件支持、以RL/post-training(強(qiáng)化學(xué)習(xí)/后訓(xùn)練)部署等關(guān)鍵技術(shù)場(chǎng)景的創(chuàng)新突破,以及其在開源社區(qū)協(xié)作的進(jìn)展與最新性能優(yōu)化路線圖。
阿里云工程師、SGLang Developer蘇峰與常懷鑫則分享了題為《從全鏈路可觀測(cè)到智能分析:AI性能分析范式的演進(jìn)與實(shí)踐》的演講。兩位嘉賓在演講中回顧了SGLang Tracing的可觀測(cè)性建設(shè)歷程,并結(jié)合具體案例探討如何利用AI Agent實(shí)現(xiàn)SGLang框架的性能優(yōu)化。
活動(dòng)下半場(chǎng),阿里云高級(jí)技術(shù)專家馬騰上臺(tái)發(fā)表了《記憶感知驅(qū)動(dòng):基于Mooncake的多智能體推理架構(gòu)優(yōu)化》主題演講深入剖析了Mooncake如何以KV Cache顯存為“物理工作記憶”載體,并通過PD分離架構(gòu)與全局共享KV Cache顯存池,實(shí)現(xiàn)多智能體場(chǎng)景“一次計(jì)算、全局共享”的記憶復(fù)用。
騰訊云高級(jí)工程師陳凱悅分享了《從社區(qū)到生產(chǎn):基于SGLang HiCache + Mooncake的深度優(yōu)化與企業(yè)級(jí)落地工程實(shí)踐》,還原了如何將HiCache與Mooncake規(guī)?;渴鸬絻?nèi)部推理集群、以及落地企業(yè)客戶環(huán)境中的具體實(shí)踐。
沐曦股份SGLang推理引擎核心開發(fā)者楊鑫壓軸登場(chǎng),帶來《沐曦GPU對(duì)SGLang的深度適配與工程實(shí)踐》主題演講,詳細(xì)介紹了SGLang在沐曦GPU上的適配流程、沐曦自研MXMACA軟件棧、最新模型適配情況與性能優(yōu)化實(shí)踐。
針對(duì)主題演講的硬核分享,現(xiàn)場(chǎng)觀眾踴躍提問,結(jié)合實(shí)際開發(fā)部署中遇到的具體問題,與嘉賓現(xiàn)場(chǎng)積極探討各種可能的解決方案。
圓桌對(duì)話:異構(gòu)算力下的推理效能革命
圓桌環(huán)節(jié)由沐曦AI研究院院長(zhǎng)李兆石主持,童心源、常懷鑫、馬騰、陳凱悅與沐曦股份SGLang項(xiàng)目核心開發(fā)者王志鵬五位技術(shù)專家共同參與,圍繞“異構(gòu)算力下的推理效能革命:SGLang前沿優(yōu)化與企業(yè)落地實(shí)踐”展開展開討論。針對(duì)百萬長(zhǎng)下文的KV Cache利用策略、AI存儲(chǔ)需求的趨勢(shì)走向、AI云端與本地部署的方案選擇等熱點(diǎn)話題,圓桌嘉賓分享了各自的洞察與思考。
結(jié)語
本次SGLang技術(shù)交流Meetup是沐曦股份在開源生態(tài)建設(shè)中的一次深度實(shí)踐。
作為國(guó)產(chǎn)高性能GPU企業(yè),沐曦股份始終秉持“全棧自研+生態(tài)兼容”戰(zhàn)略,圍繞MXMACA軟件棧持續(xù)投入上游開源社區(qū)建設(shè)。從MXMACA軟件棧深度兼容SGLang、vLLM在內(nèi)的40多種AI框架,到公司與阿里云、騰訊云、龍蜥開源社區(qū)等伙伴的聯(lián)合創(chuàng)新,沐曦股份正以“技術(shù)共建者”之姿,推動(dòng)國(guó)產(chǎn)GPU在大模型推理基礎(chǔ)設(shè)施中的實(shí)質(zhì)性落地。
面向未來,沐曦股份將持續(xù)深化與SGLang等開源社區(qū)的技術(shù)協(xié)同,在推理性能優(yōu)化、模型適配廣度、開發(fā)者工具鏈等維度加速迭代,為國(guó)產(chǎn)算力從“能用”走向“好用”提供堅(jiān)實(shí)的底座。
關(guān)于沐曦股份
沐曦股份致力于自主研發(fā)全棧高性能GPU芯片及計(jì)算平臺(tái),為智算、通用計(jì)算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐,助力數(shù)字經(jīng)濟(jì)發(fā)展。
-
AI
+關(guān)注
關(guān)注
91文章
42722瀏覽量
303589 -
開源
+關(guān)注
關(guān)注
3文章
4461瀏覽量
46712 -
沐曦
+關(guān)注
關(guān)注
1文章
128瀏覽量
1902
原文標(biāo)題:沐曦芯生,開源共創(chuàng) | 沐曦股份 × SGLang聯(lián)合舉辦技術(shù)交流Meetup,共同探索AI推理落地新路徑
文章出處:【微信號(hào):沐曦MetaX,微信公眾號(hào):沐曦MetaX】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
沐曦股份聯(lián)合星漢智能發(fā)布“沐星一號(hào)”高性能服務(wù)器
沐曦股份受邀出席CCF 2026青年精英大會(huì)并發(fā)表主題演講
沐曦股份與文心合作伙伴賽道Meetup上海站即將舉辦
沐曦股份攜手TileAI社區(qū)發(fā)布TileLang Puzzle開源課程
沐曦開發(fā)者社區(qū)與啟悟?qū)W習(xí)社區(qū)打通SSO互聯(lián)
從代碼合入到社區(qū)共聚:SGLang × MUSA Meetup圓滿落幕,國(guó)產(chǎn)GPU開源生態(tài)進(jìn)入“原生支持”時(shí)代
沐曦股份聯(lián)合啟動(dòng)木蘭AI-OpenG大模型開源開放分級(jí)測(cè)評(píng)
沐曦股份開源TileLang-Metax并入駐TileAI社區(qū)
沐曦股份Day 0適配DeepSeek-V4-Flash模型
沐曦股份北京AI研究院暨企業(yè)開源中心正式揭牌啟動(dòng)
沐曦股份GPU產(chǎn)品正式接入華佗開源生態(tài)
沐曦股份與SGLang開源社區(qū)聯(lián)合舉辦技術(shù)交流Meetup
評(píng)論