Cerebras Systems 發(fā)布全球最大芯片 WSE3 搭載4萬億個(gè)晶體管。與英偉達(dá) B200 GPU 的2080億晶體管相比較，WSE3 的規(guī)模宛如巨人面對侏儒。其打破常規(guī)，不再將一個(gè)晶圓切割為多個(gè)單獨(dú)芯片，而是巧妙地將一整個(gè)12英寸的晶圓轉(zhuǎn)化為一塊龐大芯片，總面積達(dá)到 46225 平方毫米，相當(dāng)于84個(gè)常規(guī)芯片組合在一起。

Cerebras 自2015年成立以來，堅(jiān)持不懈地推出一系列 WSE 芯片，到如今第三代 WSE3，每一步都標(biāo)志著其對制程工藝的深化掌握，這次更是采用了5納米工藝，承臺(tái)積電的技術(shù)優(yōu)勢。WSE系列以“世界最大芯片”而馳名，專注于滿足AI大模型訓(xùn)練的高性能需求，同時(shí)具備出色的推理能力。在這一領(lǐng)域，Cerebras 不僅自立門戶，更與高通展開合作，以其推理芯片進(jìn)一步增強(qiáng)WSE3功能范疇。

WSE3發(fā)布還伴隨一系列承載其強(qiáng)勁計(jì)算力的服務(wù)器產(chǎn)品——CS1、CS2和CS3，這些服務(wù)器產(chǎn)品由AMDCPU賦能，共同構(gòu)成高效的計(jì)算生態(tài)，旨在加速現(xiàn)代AI研究及實(shí)用性能向前邁進(jìn)。

憑借其獨(dú)特的設(shè)計(jì)理念和規(guī)模優(yōu)勢，WSE3預(yù)示著 AI 硬件技術(shù)的一次飛躍。異常強(qiáng)大的算力背后，是Cerebras對芯片工藝的極致追求與不被常規(guī)限制的創(chuàng)新膽識(shí)，WSE3正將這份精神通過每一次AI模型的訓(xùn)練和推理，傳遞至整個(gè)科技行業(yè)。

盡管有些人可能懷疑 WSE3 不過是一張巨型晶圓，但其真正的價(jià)值并不在于其體積，而在于其背后獨(dú)特的設(shè)計(jì)理念和架構(gòu)。WSE3 構(gòu)造包括84個(gè)區(qū)域，其中包含高達(dá)90萬個(gè)計(jì)算核心，每個(gè)區(qū)域內(nèi)含有超過1萬個(gè)核心。從架構(gòu)層面來看，由核心（Cores）、芯片單元（Die）以及晶圓（Wafer）共同構(gòu)成。

Cerebras的計(jì)算架構(gòu)大致可以劃分為WSE、SwarmX 和 MemoryX三個(gè)部分。在處理大模型訓(xùn)練時(shí)，MemoryX存儲(chǔ)設(shè)備儲(chǔ)存權(quán)重?cái)?shù)據(jù)，這些數(shù)據(jù)由DDR和Flash技術(shù)共同構(gòu)成，最大提供高達(dá)1200TB存儲(chǔ)空間。該設(shè)計(jì)意味著巨大數(shù)量級(jí)的模型參數(shù)可以一次性加載到設(shè)備中進(jìn)行處理。在訓(xùn)練過程中，MemoryX上的權(quán)重?cái)?shù)據(jù)將通過SwarmX傳輸至每個(gè)CS系統(tǒng)中的WSE，由WSE處理數(shù)據(jù)并完成向前傳播計(jì)算過程，生產(chǎn)出預(yù)測值。然后，通過損失函數(shù)計(jì)算出預(yù)測值與真實(shí)值間的梯度，用這些梯度進(jìn)行反向傳播計(jì)算所有權(quán)重的梯度。計(jì)算得出的梯度數(shù)據(jù)隨后回到SwarmX，經(jīng)過匯總處理為全局梯度后送回MemoryX，MemoryX內(nèi)的計(jì)算單元會(huì)直接更新權(quán)重，為下一輪的訓(xùn)練做準(zhǔn)備。

Cerebras Systems把一個(gè)晶圓的全部晶體管都用上，并未按常規(guī)將其切割，而是構(gòu)建一個(gè)具有90萬個(gè)計(jì)算核心的密集網(wǎng)絡(luò)進(jìn)行集中處理。松散耦合的計(jì)算和存儲(chǔ)設(shè)計(jì)讓 Cerebras 的 CS 系列服務(wù)器能夠輕松實(shí)現(xiàn)數(shù)據(jù)并行，不使用其他復(fù)雜的并行訓(xùn)練方法。Cerebras 這一獨(dú)特設(shè)計(jì)理念使其成為AI 訓(xùn)練領(lǐng)域的強(qiáng)勁競爭者。

深入探究Cerebras革命性 WSE 芯片會(huì)發(fā)現(xiàn)，每一顆計(jì)算核心都擁有一塊48KB的SRAM存儲(chǔ)單元。令人驚訝的是48KB被巧妙劃分為八個(gè)6KB小區(qū)域，每個(gè)小區(qū)以32位寬數(shù)據(jù)通道進(jìn)行操作，合起來就是一條256位寬數(shù)據(jù)高速公路。計(jì)算核心在每一個(gè)時(shí)鐘周期都能夠處理高達(dá)兩個(gè)64位的讀取通道以及一個(gè)64位的寫入通道，合計(jì)可達(dá)192位。

Cerebras的真正威力還在于它的分布式存儲(chǔ)與計(jì)算架構(gòu)，使之擅長高效解決非結(jié)構(gòu)化的稀疏計(jì)算問題，尤其是那些需要處理海量零值或接近零值數(shù)據(jù)的場景。為此，WSE3 提供令人震撼的 21PB每秒的片上存儲(chǔ)帶寬，以及超乎想象的214PB每秒的網(wǎng)絡(luò)交互帶寬。

Cerebras的設(shè)計(jì)理念深入人心，無需切割晶圓，就將所有晶體管整合成一個(gè)緊密相連的網(wǎng)絡(luò)，該網(wǎng)絡(luò)由高達(dá)90萬個(gè)計(jì)算核心組成，實(shí)現(xiàn)集中加工處理。與此同時(shí)，Cerebras系列的CS服務(wù)器得益于計(jì)算與存儲(chǔ)分離的創(chuàng)新設(shè)計(jì)，輕松實(shí)現(xiàn)數(shù)據(jù)并行處理，省去其他復(fù)雜并行訓(xùn)練方案的需要。這一設(shè)計(jì)不光為Cerebras贏得了與英偉達(dá)抗衡的實(shí)力，也為面對越來越龐大的模型規(guī)?！覀冋f的是達(dá)到萬億級(jí)參數(shù)——提供解決方案。在AI訓(xùn)練領(lǐng)域，Cerebras的 Wafer Scale Engine 設(shè)計(jì)無疑是它的巔峰時(shí)刻。

審核編輯 黃宇