近日，北京后摩智能科技有限公司與北京大學(xué)集成電路學(xué)院孫廣宇長聘副教授團(tuán)隊(duì)、上海交通大學(xué)張宸助理教授團(tuán)隊(duì)、香港科技大學(xué)謝源講席教授團(tuán)隊(duì)、東南大學(xué)司鑫副教授團(tuán)隊(duì)及阿里巴巴達(dá)摩院合作的研究成果《H2-LLM: Hardware-Dataflow Co-Exploration for Heterogeneous Hybrid-Bonding-based Low-Batch LLM Inference》，成功榮獲第52屆計(jì)算機(jī)體系結(jié)構(gòu)國際研討會(huì)(ISCA)最佳論文獎(jiǎng)。作為國內(nèi)學(xué)術(shù)機(jī)構(gòu)在該會(huì)議上的首次獲獎(jiǎng)成果，其核心創(chuàng)新聚焦于邊緣側(cè)大語言模型(LLM)推理加速架構(gòu)的關(guān)鍵技術(shù)突破，為解決邊緣設(shè)備高效LLM推理難題提供了創(chuàng)新性方案。

隨著LLM在智能對話、代碼生成、邊緣推理等場景的規(guī)?；瘧?yīng)用，如何在邊緣設(shè)備上實(shí)現(xiàn)低延遲、高能效的推理計(jì)算，成為行業(yè)亟待攻克的技術(shù)瓶頸。現(xiàn)有DRAM近存計(jì)算架構(gòu)雖具備高帶寬優(yōu)勢，但受限于芯片計(jì)算邏輯嵌入設(shè)計(jì)，算力供給不足，難以滿足邊緣側(cè)對計(jì)算密集型任務(wù)的加速需求。針對這一挑戰(zhàn)，合作團(tuán)隊(duì)基于混合鍵合(Hybrid Bonding)新興工藝，研發(fā)出面向邊緣側(cè)的H2-LLM推理加速架構(gòu)。該架構(gòu)通過提出通用近存計(jì)算架構(gòu)模板，抽象設(shè)計(jì)空間以協(xié)調(diào)工藝中算力與帶寬的權(quán)衡，并采用“以數(shù)據(jù)為中心”的數(shù)據(jù)流抽象優(yōu)化異構(gòu)硬件資源利用，實(shí)現(xiàn)了計(jì)算密集型與訪存密集型算子的協(xié)同加速。實(shí)驗(yàn)數(shù)據(jù)顯示，相較于基線DRAM近存架構(gòu)，H2-LLM在LLM推理的預(yù)填充(Prefill)和解碼(Decoding)階段實(shí)現(xiàn)2.72倍的性能提升與1.48倍的能效優(yōu)化，為邊緣設(shè)備部署大語言模型提供了關(guān)鍵技術(shù)支撐。

此次成果是產(chǎn)學(xué)研協(xié)同創(chuàng)新的典范。北京大學(xué)孫廣宇團(tuán)隊(duì)在領(lǐng)域定制芯片架構(gòu)設(shè)計(jì)與自動(dòng)化領(lǐng)域處于國際領(lǐng)先地位，研究成果多次獲得頂級(jí)會(huì)議和期刊的最佳論文獎(jiǎng)，并在多款芯片設(shè)計(jì)中實(shí)現(xiàn)產(chǎn)業(yè)驗(yàn)證。后摩智能與上海交通大學(xué)、東南大學(xué)、阿里巴巴達(dá)摩院的合作，充分發(fā)揮了各方在學(xué)術(shù)研究、技術(shù)開發(fā)和應(yīng)用場景方面的優(yōu)勢，推動(dòng)了邊緣計(jì)算與大模型推理技術(shù)的工程化落地。

ISCA作為計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域的頂級(jí)國際會(huì)議，自1973年創(chuàng)辦以來，始終是學(xué)術(shù)界與產(chǎn)業(yè)界技術(shù)交流的核心平臺(tái)，與MICRO、HPCA、ASPLOS并稱“體系結(jié)構(gòu)四大會(huì)”。谷歌TPU、寒武紀(jì)芯片、華為昇騰等具有全球影響力的架構(gòu)創(chuàng)新均曾在此首發(fā)。此次獲獎(jiǎng)標(biāo)志著中國在邊緣計(jì)算與LLM推理架構(gòu)領(lǐng)域的研究已躋身國際頂尖行列，對推動(dòng)我國人工智能底層技術(shù)發(fā)展具有重要意義。

未來，后摩智能將繼續(xù)秉承開放合作、創(chuàng)新驅(qū)動(dòng)的理念，與更多頂尖高校、科研機(jī)構(gòu)和企業(yè)開展深度合作，共同推動(dòng)智能計(jì)算技術(shù)的創(chuàng)新與發(fā)展。同時(shí)，后摩智能也將繼續(xù)加強(qiáng)與各方的合作，圍繞國家新一代人工智能戰(zhàn)略需求，持續(xù)聚焦邊緣側(cè)計(jì)算與大模型推理的技術(shù)融合，共同推動(dòng)智能計(jì)算技術(shù)的產(chǎn)業(yè)化應(yīng)用。