來(lái)源：vLLM

2025年8月23日，vLLM Meetup上海站成功舉辦?；顒?dòng)匯聚技術(shù)專(zhuān)家、社區(qū)開(kāi)發(fā)者及行業(yè)用戶(hù)，圍繞vLLM(一種用于大型語(yǔ)言模型的高性能推理引擎)的技術(shù)進(jìn)展、生態(tài)建設(shè)及應(yīng)用展開(kāi)深度探討。會(huì)議涵蓋社區(qū)貢獻(xiàn)指南、分布式推理架構(gòu)、多模態(tài)模型集成等前沿議題，現(xiàn)場(chǎng)互動(dòng)熱烈，并提出每年舉辦vLLM Con大會(huì)的倡議，為AI推理領(lǐng)域的技術(shù)落地注入新動(dòng)能。

本次Meetup由沐曦與紅帽公司聯(lián)合主辦，紅帽作為全球開(kāi)源社區(qū)vLLM的重要貢獻(xiàn)者，長(zhǎng)期參與上游協(xié)作并分享實(shí)踐經(jīng)驗(yàn)，推動(dòng)社區(qū)發(fā)展;沐曦則結(jié)合國(guó)產(chǎn)硬件優(yōu)勢(shì)，積極探索vLLM在本土計(jì)算平臺(tái)上的適配與應(yīng)用。沐曦開(kāi)源生態(tài)總監(jiān)章津楠與紅帽亞太CTO辦公室首席架構(gòu)師張家駒共同開(kāi)場(chǎng)，對(duì)到場(chǎng)嘉賓及觀眾表示歡迎。活動(dòng)設(shè)置五大核心議題，并穿插開(kāi)發(fā)者提問(wèn)環(huán)節(jié)，最終以沐曦聯(lián)合創(chuàng)始人、CTO兼首席軟件架構(gòu)師楊建博士的開(kāi)源生態(tài)趨勢(shì)分享及書(shū)籍簽贈(zèng)環(huán)節(jié)收尾，現(xiàn)場(chǎng)氣氛活躍。

活動(dòng)核心環(huán)節(jié)圍繞五大技術(shù)方向展開(kāi)，專(zhuān)家團(tuán)隊(duì)通過(guò)案例解析與方案演示，系統(tǒng)呈現(xiàn)vLLM在社區(qū)生態(tài)、分布式架構(gòu)、多模態(tài)集成等領(lǐng)域的創(chuàng)新實(shí)踐。

在題為《vLLM: Building, Testing and Contributing》演講中， vLLM社區(qū)貢獻(xiàn)者、Red Hat資深專(zhuān)家Daniele Trifirò深入剖析了vLLM社區(qū)的發(fā)展現(xiàn)狀，為愛(ài)好者及開(kāi)發(fā)者提供了系統(tǒng)性指南。他詳細(xì)闡述了項(xiàng)目構(gòu)建流程、關(guān)鍵測(cè)試規(guī)范，并指導(dǎo)開(kāi)發(fā)者如何高效貢獻(xiàn)代碼。通過(guò)豐富的代碼實(shí)例、實(shí)踐案例及參考鏈接，演講極大降低了初學(xué)者入門(mén)門(mén)檻，獲得現(xiàn)場(chǎng)開(kāi)發(fā)者高度認(rèn)可。

在《Disaggregated P/D for Wide EP》主題分享中，vLLM社區(qū)貢獻(xiàn)者、Red Hat技術(shù)專(zhuān)家Nicolò Lucchesi重點(diǎn)介紹了利用llm-d實(shí)現(xiàn)vLLM分布式推理的方案，核心目標(biāo)是通過(guò)預(yù)填充/解碼(P/D)解耦與寬專(zhuān)家并行(EP)擴(kuò)展大模型推理能力，尤其針對(duì)長(zhǎng)上下文和混合專(zhuān)家(MoE)模型場(chǎng)景，關(guān)鍵技術(shù)方案包括P/D解耦部署、通過(guò)NIXL實(shí)現(xiàn)高效KV Cache傳輸、支持預(yù)填充(P)與解碼(D)階段采用不同TP并行度、將MoE模型中的專(zhuān)家分布至不同GPU等實(shí)現(xiàn)細(xì)節(jié)。

百度高級(jí)產(chǎn)品經(jīng)理王凱在《ERNIE 4.5 + vLLM: Multimodal Model Integration》演講中，系統(tǒng)解析了百度ERNIE 4.5多模態(tài)模型與vLLM的集成實(shí)踐。內(nèi)容涵蓋ERNIE 4.5 的特性、與 vLLM 集成的原因以及 vLLM 為 ERNIE 4.5 模型提供的全面支持，包括密集模型、MoE 模型和用于加速生成的MTP。同時(shí)還介紹了正在進(jìn)行的開(kāi)發(fā)工作，例如專(zhuān)家并行性負(fù)載均衡和視覺(jué)-語(yǔ)言支持。

Mooncake核心開(kāi)發(fā)者蘇金陽(yáng)在《Mooncake x LMCache 性能優(yōu)化分享》的主題分享中重點(diǎn)介紹了 Mooncake(特別是其傳輸引擎和存儲(chǔ))與 LMCache 的集成，以在 vLLM 中實(shí)現(xiàn)高性能 KV Cache 重用。LMCache 被認(rèn)為是用于 KV Cache 管理(卸載、重用、P/D 分離、RAG 緩存)的流行 vLLM 社區(qū)擴(kuò)展。此次集成旨在提高數(shù)據(jù)分發(fā)效率和整體系統(tǒng)性能。

沐曦vLLM推理引擎專(zhuān)家張廉潔在《vLLM-metax: Bridging CUDA to MetaX MACA》演講中，詳細(xì)介紹了vLLM-metax 如何通過(guò) cu-bridge 在 MACA 上實(shí)現(xiàn)接近零成本的 CUDA 執(zhí)行，允許在不修改源代碼的情況下進(jìn)行原生編譯。同時(shí)還解釋了在 vLLM 中使用插件架構(gòu)支持 MetaX 的方式，概述了修補(bǔ)方法(patch補(bǔ)丁和文件替換)和限制。演講還公布了2025年路線(xiàn)圖。

提問(wèn)環(huán)節(jié)中，開(kāi)發(fā)者圍繞社區(qū)貢獻(xiàn)規(guī)范、分布式推理落地、國(guó)產(chǎn)硬件支持等議題提出建議，嘉賓以技術(shù)細(xì)節(jié)回應(yīng)，討論貫穿全場(chǎng)。

本次活動(dòng)彩蛋，沐曦聯(lián)合創(chuàng)始人、CTO兼首席軟件架構(gòu)師楊建博士驚喜亮相現(xiàn)場(chǎng)，他不僅生動(dòng)分享了沐曦在開(kāi)源生態(tài)和vLLM推理技術(shù)的最新趨勢(shì)，還熱情地為獲得《沐曦異構(gòu)并行計(jì)算軟件棧》書(shū)籍的幸運(yùn)觀眾親筆簽名留念。

本次Meetup不僅展示了vLLM在分布式推理、多模態(tài)集成及硬件適配領(lǐng)域的最新成果，更通過(guò)技術(shù)交流與生態(tài)合作，為AI推理引擎的規(guī)?；瘧?yīng)用提供了實(shí)踐范本。行業(yè)專(zhuān)家與開(kāi)發(fā)者的深度互動(dòng)，進(jìn)一步強(qiáng)化了vLLM在開(kāi)源社區(qū)的技術(shù)影響力，為下一代AI基礎(chǔ)設(shè)施的研發(fā)奠定基礎(chǔ)。

關(guān)于沐曦

沐曦致力于自主研發(fā)全棧高性能GPU芯片及計(jì)算平臺(tái)，為智算、通用計(jì)算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟(jì)發(fā)展。