“人工智能正在吞噬世界?！?/p>

硅谷人工智能計算機制造商Cerebras的首席執(zhí)行官Andrew Feldman就是這樣開始介紹他的公司的最新成就的：一臺每秒能夠進行20億次運算（2億次浮點運算）的人工智能超級計算機。該系統(tǒng)名為“Condor Galaxy 1”，有望在12周內(nèi)將其規(guī)模擴大一倍。2024年初，將有另外兩個規(guī)模加倍的系統(tǒng)加入。這家硅谷公司計劃明年繼續(xù)增加Condor Galaxy的安裝，直到它運行一個由9臺超級計算機組成的網(wǎng)絡(luò)，總運算能力為36億次。

如果大型語言模型和其他生成人工智能正在吞噬世界，Cerebras的計劃是幫助他們消化它。加州森尼維爾的這家公司并不是唯一一家。其他專注于人工智能的計算機制造商正在圍繞自己的專用處理器或英偉達最新的GPU H100構(gòu)建大規(guī)模系統(tǒng)。雖然很難判斷大多數(shù)系統(tǒng)的大小和功能，但Feldman聲稱Condor Galaxy 1已經(jīng)是最大的系統(tǒng)之一。

Condor Galaxy 1在短短10天內(nèi)組裝并啟動，由32臺Cerebras CS-2計算機組成，并將擴展到64臺。接下來的兩個系統(tǒng)將在德克薩斯州奧斯汀和北卡羅來納州阿什維爾建造，每個系統(tǒng)還將容納64個CS-2。每臺CS-2的核心是Waferscale Engine-2，這是一款人工智能專用處理器，由2.6萬億個晶體管和85萬個全硅晶圓制成的人工智能核心。

CEREBRAS

Feldman說，Cerebras在建造大型人工智能超級計算機方面的最大優(yōu)勢之一是它能夠簡單地擴大資源規(guī)模。例如，如果你投入40倍以上的硬件資源，400億參數(shù)網(wǎng)絡(luò)可以在與10億參數(shù)網(wǎng)絡(luò)大致相同的時間內(nèi)進行訓(xùn)練。重要的是，這種放大不需要額外的代碼行。他說：“我們通過按鍵從1到32（CS-2s）線性縮放?！?/p>

Condor Galaxy系列由總部位于阿布扎比的G42公司所有，G42是一家控股公司，擁有九家基于人工智能的企業(yè)，其中包括中東最大的云計算提供商之一G42 Cloud。Feldman將這種關(guān)系描述為“深度戰(zhàn)略伙伴關(guān)系”，他說，這是在短短18個月內(nèi)完成36次EB失敗所需要的。Feldman計劃在今年晚些時候搬到阿聯(lián)酋幾個月，以幫助管理合作，他說，這將“大大增加人工智能計算的global inventory”。 Cerebras將為G42操作超級計算機，并可以租用其合作伙伴未用于內(nèi)部工作的資源。

Feldman表示，對訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的需求激增。他說，用500億或更多參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的公司數(shù)量從2021年的2家增加到今年的100多家。

顯然，Cerebras并不是唯一一家追求需要訓(xùn)練真正大型神經(jīng)網(wǎng)絡(luò)的企業(yè)。亞馬遜、谷歌、Meta和微軟等大公司都有自己的產(chǎn)品。圍繞英偉達GPU構(gòu)建的計算機集群主導(dǎo)了這項業(yè)務(wù)的大部分，但其中一些公司已經(jīng)為人工智能開發(fā)了自己的硅，例如谷歌的TPU系列和亞馬遜的Trainium。Cerebras也有初創(chuàng)公司的競爭對手，他們生產(chǎn)自己的人工智能加速器和計算機，包括Habana（現(xiàn)在是英特爾的一部分）、Graphcore和Samba Nova。

例如，Meta使用6000多個Nvidia A100 GPU構(gòu)建了其AI研究超級集群。計劃中的第二階段將使集群達到5個EB。谷歌構(gòu)建了一個包含4096個TPU v4加速器的系統(tǒng)，總共1.1億次。該系統(tǒng)在短短10多秒內(nèi)就突破了比今天的LLM小得多的BERT自然語言處理器神經(jīng)網(wǎng)絡(luò)。谷歌還運行Compute Engine A3，該引擎圍繞英偉達H100 GPU和英特爾制造的定制基礎(chǔ)設(shè)施處理單元構(gòu)建。云提供商CoreWeave與英偉達合作，測試了一個由3584個H100 GPU組成的系統(tǒng)，該系統(tǒng)在10多分鐘內(nèi)訓(xùn)練出了代表大型語言模型GPT-3的基準(zhǔn)。2024年，Graphcore計劃建造一個名為Good Computer的10 exaflop系統(tǒng)，該系統(tǒng)由8000多個Bow處理器組成。