第29屆IEEE高性能計算機架構國際會議（HPCA 2023, the 29th IEEE International Symposium on High-Performance Computer Architecture）在加拿大蒙特利爾召開。期間，在第二屆“高性能芯粒與互連架構國際研討會”（The 2nd?International workshop on High Performance Chiplet and Interconnect Architectures, HiPChips）上，來自清華大學、AMD、ARM、英特爾、華盛頓大學、哈佛大學、開放計算項目基金（OCP）、曦智科技等學界及業(yè)界專家，就互連技術的創(chuàng)新研究和行業(yè)標準，及其如何影響芯粒架構設計及軟件系統(tǒng)生態(tài)展開了討論。

曦智科技作為全球光電混合計算領軍企業(yè)首次受邀參加國際計算機架構頂級會議。曦智科技聯合創(chuàng)始人兼首席技術官孟懷宇博士在HiPChips上發(fā)表了《片上光網絡在大規(guī)模芯粒（Chiplet）架構上的應用》的主旨演講，介紹在當下面臨算力需求的驟增，曦智科技如何利用片上光網絡技術實現低延遲、低能耗的高效片間互連系統(tǒng)，助力大規(guī)模芯粒架構的實現。

孟懷宇 博士

Dr. Huaiyu Meng

孟懷宇博士現任曦智科技聯合創(chuàng)始人兼首席技術官，負責公司技術路線的制定、產品定義及知識產權保護。他擁有麻省理工學院電子工程博士學位，主要研究方向為集成硅光技術在人工智能、數字通信生物傳感等方向的應用。

HiPChips

“高性能芯粒與互連架構國際研討會”（International Workshop on High Performance Chiplet and Interconnect Architectures, HiPChips）于2022年在國際計算機架構頂會International Symposium on Computer Architecture（ISCA）上由學術界和產業(yè)界專家共同發(fā)起，旨在探討Chiplet（芯粒）和互連技術對未來計算架構的影響，從而推動工業(yè)和學術界加速合作、共建Chiplet生態(tài)。

一、單節(jié)點算力提升的現有路徑與挑戰(zhàn)

機器學習 (ML) 、人工智能 (AI) 應用的廣泛部署一直在推動數據中心和邊緣計算需求不斷增長。ChatGPT千億級大規(guī)模參數模型的出現，更是對單卡算力的上限提出了超乎想象的挑戰(zhàn)。單節(jié)點內算力的縱向提升和多節(jié)點間的算力橫向擴展同步發(fā)展，成為未來數據中心算力和算效提升不可或缺的兩個方面。

隨著摩爾定律的放緩，單節(jié)點內的算力縱向提升出現了不同的思路，目前的解決方案主要有計算架構的創(chuàng)新和擴大芯片面積這兩種方式。 ? 孟懷宇博士將異構計算架構創(chuàng)新歸納為以下三個方面：

早期的通用計算架構創(chuàng)新，包括指令級別并行（Instruction-Level Parallelism，ILP），在芯片上集成更多邏輯功能從而改善“內存墻”問題（以谷歌TPU為例），以及超線程、多核再到眾線程架構等。

領域專用架構（Domain Specific Architecture，DSA）

生物計算、量子計算、基于憶阻器的存內計算等非馮·諾伊曼架構 ?

通過架構創(chuàng)新實現硬件性能提升

而由于晶體管密度提高的放緩，通過擴大芯片面積實現底層算力的提升成為另一種自然的探索方向。但受限于倍縮光罩的尺寸，為了突破單個芯片面積的上限，芯粒系統(tǒng)應運而生，較為具有代表性的是英特爾的Ponte Vecchio GPU，由超過40個芯粒組成，總面積超過了3,000mm2，以及Cerebras Systems的晶圓級計算引擎（Wafer Scale Engine，WSE），其總面積超過了40,000mm2。

英特爾Ponte Vecchio GPU和Cerebras Systems晶圓級計算引擎 ?

然而芯片面積的增大導致數據搬運的時間和能耗成本隨之增加，電在進行數據傳輸時，由于距離增大導致的能耗提升顯露無疑；同時，由于較大的計算任務通常會被映射到多個計算單元，為了避免長距離數據搬運，只能用更為復雜的算法來優(yōu)化計算任務的映射。

大規(guī)模MCM需要更高效的互連解決方案 ? 尋找超越傳統(tǒng)電互連的物理層創(chuàng)新，以及易用性強的計算任務適配軟件棧，成為高效可擴展芯粒系統(tǒng)急需解決的技術瓶頸。

二、片上光網絡助力高效芯粒系統(tǒng)

針對芯粒系統(tǒng)在規(guī)模擴大的同時帶來的信號傳輸瓶頸問題，孟懷宇博士介紹了曦智科技的片上光網絡（Opitical Network On Chip，以下簡稱oNOC）技術方案，oNOC的技術優(yōu)勢主要體現在：

光信號在晶圓級別的傳輸中 衰減小

光的 功耗、延遲 對距離不敏感

集成硅光芯片作為有源中介層

光電轉換可在集成硅光芯片中完成

曦智科技oNOC系統(tǒng)側視圖及俯視圖 如上圖所示，圖(a)中兩個電芯片被堆疊在同一個光芯片上，電芯片之間的數據傳輸由光芯片上的光波導鏈路實現?；诠鈧鬏攲τ诰嚯x不敏感的特點，片上光網絡可以包括大量的長距離通道。如圖(b)所示，光芯片能夠擴展到整個晶圓，從而實現晶圓級的光互連網絡，可支持數十個以上的電芯片互連，實現二維環(huán)繞等各向同性網絡拓撲（如圖(b)中橙線所示）。 ?

在這樣的拓撲下，將計算任務映射到不同芯片的工作被極大簡化，并且達到更高的利用率。不僅如此，片上光網絡也憑借其高帶寬和低延遲的特性可以為面向未來AI加速器的多形態(tài)計算架構（Polymorphic Architecture）提供關鍵的片上互連基礎設施。

三、全球首款oNOC光電混合計算芯片

在HiPChips上，孟懷宇博士也分享了曦智科技在片上光網絡（oNOC）技術上的最新進展。它由一塊硅光芯片和一塊CMOS電子芯片，通過中介層垂直封裝構成。其中，光波導替代了銅導線，形成片上光網絡進行數據傳輸。該系統(tǒng)的通道數為512，單通道最長廣播距離50mm，廣播延時1ns，單通道頻率4GHz，片上總帶寬2Tbps。實測數據顯示，該計算系統(tǒng)能在1ns內完成多個計算核之間All-to-AIl的數據廣播，這將大幅提高每個計算核的算力利用率。

曦智科技oNOC光電混合芯片

基于該計算芯片，曦智科技正在加速落地第一款商用級光電混合計算加速卡，并搭載公司自研軟件棧，在商用場景下發(fā)揮低延遲、低功耗的優(yōu)勢。 ?

寫在最后

集成硅光技術得益于光子的物理優(yōu)勢，一方面可以從計算底層技術原理的顛覆式創(chuàng)新，提供一條超越摩爾定律的算力提升路徑，我們在前文《利用光子集成電路實現伊辛模型加速》（點擊閱讀）中有過一定的闡述。另一方面，晶圓級片上光網絡技術使得異構計算芯片系統(tǒng)可以和傳統(tǒng)的電芯片以及存儲芯片有效協(xié)同，助力大規(guī)模高效芯粒系統(tǒng)的實現。 但正如孟懷宇博士在結束演講時所說，片上光網絡技術的大規(guī)模應用仍面臨一些挑戰(zhàn)。芯粒架構整體生態(tài)系統(tǒng)的成熟尚需時日，芯粒間需要有標準的協(xié)議接口，集成硅光供應鏈成本需通過量產得到降低。這些問題需要全行業(yè)的共同努力協(xié)作才能突破解決，這也是“高性能芯粒與互連架構國際研討會”等國際交流的意義所在。

編輯：黃飛

?