電子發(fā)燒友網(wǎng)報(bào)道（文/黃山明）盡管近期生成式AI熱度有所減弱，甚至不少企業(yè)已經(jīng)曝出禁止自己的員工使用ChatGPT等產(chǎn)品，擔(dān)心會(huì)導(dǎo)致信息的泄露。但這并沒有阻止相關(guān)企業(yè)對(duì)AI大模型的深入研究，并且還在加大向英偉達(dá)下芯片訂單。

與此同時(shí)，英偉達(dá)還在近期推出了一款升級(jí)版的下一代Grace Hopper超級(jí)芯片平臺(tái)，性能超過過去的A100，搭載Nvidia的DGX系統(tǒng)能夠以更少的芯片、更低的成本完成對(duì)大模型的訓(xùn)練。

國內(nèi)互聯(lián)網(wǎng)大廠搶購英偉達(dá)訂單

不可否認(rèn)，當(dāng)前想要訓(xùn)練AI大模型，購買英偉達(dá)的芯片產(chǎn)品是最優(yōu)的選擇。不過由于此前美國的限制，國內(nèi)企業(yè)幾乎只能購買到英偉達(dá)專為中國市場(chǎng)設(shè)計(jì)的A800系列。雖然性能稍低，但并未阻止國內(nèi)企業(yè)的購買熱情。

據(jù)英國金融時(shí)報(bào)報(bào)道，中國數(shù)據(jù)互聯(lián)網(wǎng)巨頭正在搶購對(duì)構(gòu)建生成式AI最為關(guān)鍵的高性能芯片，包括百度、字節(jié)跳動(dòng)、騰訊、阿里巴巴已經(jīng)向英偉達(dá)下了達(dá)10億美元的訂單，將從英偉達(dá)處購買約10萬個(gè)A800處理器，預(yù)計(jì)在今年交付。

此前字節(jié)跳動(dòng)已經(jīng)為其社交媒體TikTok測(cè)試了一個(gè)名為TikTok Tako的生成式AI，并授權(quán)使用OpenAI的ChatGPT。為此，字節(jié)跳動(dòng)已經(jīng)儲(chǔ)備了至少1萬塊英偉達(dá)GPU，并且下單了近7萬塊A800，價(jià)值約在7億美元。

阿里巴巴同樣從英偉達(dá)收到了數(shù)千塊H800芯片，許多客戶已經(jīng)聯(lián)系到阿里，希望能夠借助由這些芯片驅(qū)動(dòng)的云服務(wù)，來幫助他們訓(xùn)練AI大模型。百度也在制作自己的生成式AI項(xiàng)目，并將其命名為Ernie Bot。

報(bào)道還稱，中國企業(yè)還購買了價(jià)格40億美元的圖形處理器，將于2024年交付。不過英偉達(dá)相關(guān)發(fā)言人并未對(duì)這一消息進(jìn)行詳細(xì)說明，只是透露消費(fèi)者互聯(lián)網(wǎng)公司和云提供商每年在數(shù)據(jù)中心組件上投資數(shù)十億美元，通常會(huì)提前幾個(gè)月下訂單。

有意思的是，據(jù)行業(yè)人士透露，想要拿到大批量的英偉達(dá)芯片，還需要看與英偉達(dá)CEO黃仁勛是否“有關(guān)系”。并且相關(guān)企業(yè)能否購買到A800，更多是看商業(yè)關(guān)系，也就是過去是否為英偉達(dá)大客戶的企業(yè)。

隨著國內(nèi)對(duì)A800需求的上升，其市場(chǎng)價(jià)格也水漲船高。經(jīng)銷商透露，A800顯卡已經(jīng)從一周之前的9萬元以上漲到了當(dāng)前的13萬元，甚至一些經(jīng)銷商手中的A800漲幅超過了50%，服務(wù)器現(xiàn)貨則是從120萬元漲到了140萬元左右。

不僅是國內(nèi)的企業(yè)，國外如谷歌云、微軟云Azure、甲骨文等都在大量搶購英偉達(dá)芯片，谷歌云大概囤積了2.5萬塊H100，微軟云則擁有1-4萬塊左右的H100。

對(duì)于H100的需求，統(tǒng)計(jì)國外市場(chǎng)需求大概每家企業(yè)都需要3萬塊左右，加上部分初創(chuàng)企業(yè)，市場(chǎng)中需要總共43.2萬塊H100，加上國內(nèi)對(duì)H800擁有大量需求的企業(yè)，短時(shí)間內(nèi)英偉達(dá)很難完全滿足市場(chǎng)的需求。

畢竟英偉達(dá)目前只是指定臺(tái)積電作為H100的唯一生產(chǎn)商，未來或許有望與英特爾或三星合作，但在當(dāng)下，臺(tái)積電一家的產(chǎn)能短時(shí)間還無法滿足市場(chǎng)中快速膨脹的需求，因此英偉達(dá)芯片的供不應(yīng)求應(yīng)該會(huì)持續(xù)一段時(shí)間。

推出GH200超級(jí)芯片，性能遠(yuǎn)超A100

或許是看到市場(chǎng)中對(duì)大算力高端芯片的渴求，英偉達(dá)在近期推出新一代GH200 Grace Hopper超級(jí)芯片，新芯片將于2024年第二季投產(chǎn)。其實(shí)早在數(shù)月前，英偉達(dá)便已經(jīng)推出了GH200芯片，而此次推出的版本是加入了HBM3e內(nèi)存的升級(jí)版。

即便是原來的GH200，對(duì)比A100仍然有著巨大提升，標(biāo)稱算力提升了3.2倍，結(jié)合帶寬優(yōu)化等綜合訓(xùn)練算力提升5-6倍，推理算力提升10-12倍。

并且GH200在新AI數(shù)據(jù)中心架構(gòu)下，光模塊升級(jí)明顯，一張GH200卡對(duì)應(yīng)12個(gè)800G光模塊，1個(gè)400G光模塊，2個(gè)200G光模塊需求，而在此前A100架構(gòu)下，一張GPU對(duì)應(yīng)2.5個(gè)800G光模塊。

在加入了HBM3e內(nèi)存后，也讓GH200 Grace Hopper的性能得到大幅提升。相比HBM3，HBM3e要更快50%，可以提供10TB/sec的組合帶寬，使新平臺(tái)能夠運(yùn)行比之前版本大3.5倍的模型，同時(shí)通過3倍更快的內(nèi)存帶寬提高性能。

在HBM3e的幫助下，GH200 Grace Hopper可以提供高達(dá)141GB的內(nèi)存和每秒5TB的帶寬。與前代產(chǎn)品相比，新一代的雙GH200系統(tǒng)擁有144個(gè)Grace CPU核心、8PFLOPS的GPU和282GB HBM3e內(nèi)存，是當(dāng)前一代產(chǎn)品的3.5倍內(nèi)存和3倍帶寬。

升級(jí)了GH200不僅在性能上有了大幅提升，并且功耗與成本也有了大幅降低。據(jù)黃仁勛透露，1億美元可以買到8800塊x86 CPU組成的數(shù)據(jù)中心，總功耗達(dá)到5MW。而同樣的資金可以購買2500塊GH200組成的數(shù)據(jù)中心，功耗僅為3MW，并且算力性能則是過去CPU系統(tǒng)的12倍，能效達(dá)20倍。

與此同時(shí)，英偉達(dá)還推出了DGX GH200超級(jí)計(jì)算機(jī)，內(nèi)部加入了256 張GH200 Grace Hopper，相比過去的DGX A100 系統(tǒng)僅限于八個(gè)A100 GPU作為一個(gè)整體單元串聯(lián)工作，DGX H200則可以提供大規(guī)?？蓴U(kuò)展性的吞吐量系統(tǒng)和數(shù)據(jù)分析，通過使用英偉達(dá)的定制NVLink交換機(jī)芯片來回避標(biāo)準(zhǔn)集群連接選項(xiàng)的限制。

打個(gè)比方，過去Meta訓(xùn)練LLaMA-2模型時(shí)，采用了2000張A100的超級(jí)集群，如今只需要購買一臺(tái)DGX GH200就能夠?qū)崿F(xiàn)對(duì)模型的訓(xùn)練。

當(dāng)前英偉達(dá)在AI芯片市場(chǎng)占據(jù)主導(dǎo)地位，市場(chǎng)份額超過80%。預(yù)計(jì)將在2023年底前向其主要客戶谷歌、Meta和微軟提供DGX GH200參考藍(lán)圖，還將該系統(tǒng)作為參考架構(gòu)設(shè)計(jì)提供給云服務(wù)提供商和超大規(guī)模廠商。

至于生產(chǎn)交付，就需要到明年二季度了，一個(gè)重要原因是HBM3e將在明年才會(huì)供貨。市場(chǎng)消息顯示，目前HBM3基本由韓國企業(yè)壟斷，最早便是在2015年由AMD與SK海力士合作制造出了該產(chǎn)品，一舉實(shí)現(xiàn)了高帶寬存儲(chǔ)，并從2D進(jìn)入到了2.5D堆疊。

包括SK海力士、三星都表示，會(huì)先從HBM3開始開發(fā)，預(yù)計(jì)到2024年一季度才會(huì)送樣HBM3e，而美光則選擇跳過HBM3，直接開發(fā)HBM3e。屆時(shí)，依靠新款英偉達(dá)芯片，AI大模型有望迎來新一輪的爆發(fā)。

寫在最后

在經(jīng)歷了上半年生成式AI的火熱，到了下半年，相關(guān)行業(yè)的熱度有所下降，但未來的商業(yè)潛力已經(jīng)被許多企業(yè)看在眼里。生成式AI幾乎成為企業(yè)在未來商業(yè)競爭中的核心技術(shù)，這也是為何如今國內(nèi)外的互聯(lián)網(wǎng)企業(yè)都開始加速研發(fā)相關(guān)產(chǎn)品。

想要盡快的實(shí)現(xiàn)對(duì)模型的訓(xùn)練，采購英偉達(dá)芯片是最快的方法。但目前國內(nèi)仍然只能采購H800系列產(chǎn)品，在英偉達(dá)芯片的不斷推陳出新下，國內(nèi)的大模型或許將與國外的產(chǎn)品產(chǎn)生代差，想要盡可能縮小差距，只能倒逼國內(nèi)企業(yè)加速相關(guān)產(chǎn)品的研發(fā)。

這種局面顯然不是英偉達(dá)愿意看到的，在今年6月份，英偉達(dá)財(cái)務(wù)主管便公開表示，限制向中國出口AI芯片，將導(dǎo)致美國工業(yè)永久失去機(jī)會(huì)。