英偉達(dá)和亞馬遜云科技宣布，將共同推出首款云AI超級計(jì)算機(jī)，將英偉達(dá)的H200 Grace Hopper超級芯片與亞馬遜UltraCluster擴(kuò)展功能融合。

據(jù)悉，該合作項(xiàng)目代號為Project Ceiba，共計(jì)搭載了16384顆英偉達(dá)H200超級芯片，能夠處理65 exaflops速度等級的AI運(yùn)算，這個超級計(jì)算機(jī)是配備了H200 NVL32與Amazon EFA互連技術(shù)的大規(guī)模系統(tǒng)，將部署在亞馬遜云科技之上。

這一合作項(xiàng)目的重要性得到了雙方高層的親自站臺，亞馬遜云科技CEO Adam Selipsky和英偉達(dá)CEO黃仁勛紛紛表示，他們共同的目標(biāo)是發(fā)展生成式AI，為各個領(lǐng)域提供成本效益和先進(jìn)的生成式AI。

亞馬遜云科技首席執(zhí)行官Adam Selipsky 表示：“今天，我們?yōu)閳D形、游戲、高性能計(jì)算、機(jī)器學(xué)習(xí)以及現(xiàn)在的生成式人工智能等工作負(fù)載提供最廣泛的英偉達(dá)GPU 解決方案。我們繼續(xù)與英偉達(dá)合作創(chuàng)新，將下一代英偉達(dá)Grace Hopper Superchips 與亞馬遜云科技的 EFA 強(qiáng)大網(wǎng)絡(luò)、EC2 UltraClusters 的超大規(guī)模集群以及 Nitro 的高級虛擬化功能相結(jié)合，使亞馬遜云科技成為運(yùn)行 GPU 的最佳場所?！?/p>

Ceiba項(xiàng)目是此次合作的基石，旨在創(chuàng)建世界上最快的 GPU 驅(qū)動的 AI 超級計(jì)算機(jī)，由 亞馬遜云科技 托管，并專門為英偉達(dá)提供。這個雄心勃勃的項(xiàng)目將集成 16，384 個英偉達(dá)GH200 超級芯片（使用 GH200 NVL32 解決方案，包含 32 個 GH200 GPU 和 19.5 TB 統(tǒng)一內(nèi)存），這些芯片將提供驚人的 65 個“AI ExaFLOPS”處理能力。這臺超級計(jì)算機(jī)用于英偉達(dá)的生成式人工智能研發(fā)項(xiàng)目。

亞馬遜云科技上托管的英偉達(dá)DGX 云是此次合作的另一個主要組成部分。該人工智能培訓(xùn)即服務(wù)平臺是第一個將 GH200 NVL32 機(jī)器與 19.5 TB 統(tǒng)一內(nèi)存結(jié)合在一起的商用實(shí)例。該平臺為開發(fā)人員提供了單個實(shí)例中可用的最大共享內(nèi)存，顯著加速了高級生成人工智能和大型語言模型的訓(xùn)練過程，可能超過 1 萬億個參數(shù)。

此外，亞馬遜云科技將率先提供 基于Nvidia GH200 Grace Hopper Superchips的基于云的AI超級計(jì)算機(jī)。這種獨(dú)特的配置將使用 NVLink 連接每個實(shí)例 32 個 Grace Hopper Superchip。它將擴(kuò)展到數(shù)千個 GH200 Superchips（和 4.5 TB HBM3e 內(nèi)存），與 Amazon 的 EFA 網(wǎng)絡(luò)連接，并得到高級虛擬化（亞馬遜云科技 Nitro System）和超大規(guī)模集群（Amazon EC2 UltraClusters）的支持。

此次合作還將推出 新的英偉達(dá)支持的Amazon EC2實(shí)例。這些實(shí)例將配備 H200 Tensor Core GPU，具有高達(dá) 141 GB 的 HBM3e 內(nèi)存，適用于大規(guī)模生成式 AI 和高性能計(jì)算 （HPC） 工作負(fù)載。此外，G6 和 G6e 實(shí)例分別配備 NvidiaL4 和 L40S GPU，專為從 AI 微調(diào)到 3D 工作流程開發(fā)等廣泛應(yīng)用而設(shè)計(jì)，并利用英偉達(dá)Omniverse 創(chuàng)建支持 AI 的 3D 應(yīng)用程序。

此次合作將引入英偉達(dá)的先進(jìn)軟件 ，以加速亞馬遜云科技上的生成式 AI 開發(fā)。其中包括用于創(chuàng)建聊天機(jī)器人和摘要工具的 NeMo LLM 框架和 NeMo Retriever 以及用于加速藥物發(fā)現(xiàn)流程的 BioNeMo。

英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“生成式 AI 正在改變云工作負(fù)載，并將加速計(jì)算作為多樣化內(nèi)容生成的基礎(chǔ)?！痹谙蛎课豢蛻籼峁┙?jīng)濟(jì)高效的最先進(jìn)的生成式人工智能這一共同使命的推動下，Nvidia和亞馬遜云科技正在整個計(jì)算堆棧上進(jìn)行合作，涵蓋人工智能基礎(chǔ)設(shè)施、加速庫、基礎(chǔ)模型和生成式人工智能服務(wù)。 ”

此外，亞馬遜云科技還宣布了自家芯片的大升級，發(fā)布了Graviton4通用AI芯片。與上一代Graviton3相比，Graviton4的計(jì)算性能提高了30%，核心數(shù)量增加了50%，內(nèi)存帶寬增加了75%。這一芯片將應(yīng)用于內(nèi)存優(yōu)化型的Amazon EC2 R8g實(shí)例，提升高性能數(shù)據(jù)庫、內(nèi)存緩存和大數(shù)據(jù)分析工作的效率。

另外，Trainum2芯片也亮相，主要用于擁有超大參數(shù)模型的訓(xùn)練。相比于上一代Trainium1，Trainum2在速度上提升了4倍，在能效方面也有2倍的提升。這一芯片將支持新的服務(wù)，為客戶提供大規(guī)模的模型構(gòu)建和訓(xùn)練能力。

亞馬遜云科技不僅在硬件方面進(jìn)行了升級，還發(fā)布了生成式AI應(yīng)用搭建平臺Bedrock。亞馬遜云科技的Keynote演講中，還展示了一款名為Amazon Q的工作版ChatGPT，專為企業(yè)用戶設(shè)計(jì)，幫助員工利用公司的數(shù)據(jù)和專業(yè)知識獲取答案、解決問題。