Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計(jì)算實(shí)例
生成式 AI 和大語(yǔ)言模型（LLM）不斷推動(dòng)突破性創(chuàng)新，訓(xùn)練和推理對(duì)算力的需求也隨之急劇上升。
這些現(xiàn)代生成式 AI 應(yīng)用需要全棧加速計(jì)算，首先要有能夠快速、準(zhǔn)確處理大量工作負(fù)載的先進(jìn)基礎(chǔ)設(shè)施。為了幫助滿足這一需求，Oracle 云基礎(chǔ)設(shè)施（OCI）于近日宣布，在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU，同時(shí) NVIDIA L40S GPU 也即將在 OCI Compute 上推出。
OCI 上的 NVIDIA
H100 Tensor Core GPU 實(shí)例
OCI Compute 裸機(jī)實(shí)例配備了具有NVIDIA Hopper架構(gòu)的 NVIDIA H100 GPU，不僅大幅提升了大規(guī)模 AI 和高性能計(jì)算的性能，也為各種工作負(fù)載提供了前所未有的性能、可擴(kuò)展性和通用性。
相比于NVIDIA A100 Tensor Core GPU，使用 NVIDIA H100 GPU 的企業(yè)可提升 30 倍的 AI 推理性能和 4 倍的 AI 訓(xùn)練性能。H100 GPU 專為資源密集型計(jì)算任務(wù)構(gòu)建，包括訓(xùn)練 LLM 和在運(yùn)行 LLM 的同時(shí)進(jìn)行推理等。
BM.GPU.H100.8 OCI Compute 機(jī)型配置（Shape）包含 8 顆 NVIDIA H100 GPU，每顆都具有 80GB 的 HBM2 GPU 內(nèi)存。8 顆 GPU 之間的 3.2TB/s 雙向帶寬使每顆 GPU 都能通過(guò) NVIDIA NVSwitch 和 NVLink 4.0 技術(shù)與其他 7 顆 GPU 直接通信。該配置還包含 16 塊容量為 3.84TB 的本地 NVMe 硬盤、112 個(gè)內(nèi)核的第四代英特爾至強(qiáng) CPU 處理器以及 2TB 系統(tǒng)內(nèi)存。
簡(jiǎn)而言之，該機(jī)型配置針對(duì)企業(yè)最具挑戰(zhàn)性的工作負(fù)載進(jìn)行了優(yōu)化。
根據(jù)工作負(fù)載的時(shí)間線和規(guī)模，OCI Supercluster 使企業(yè)能夠通過(guò)高性能、超低延遲的網(wǎng)絡(luò)，將所使用的 NVIDIA H100 GPU 從單個(gè)節(jié)點(diǎn)擴(kuò)展到多達(dá)數(shù)萬(wàn)顆 H100 GPU。
OCI 上的 NVIDIA L40S GPU 實(shí)例
NVIDIA L40S GPU 基于 NVIDIA Ada Lovelace 架構(gòu)構(gòu)建而成，是一款數(shù)據(jù)中心的通用 GPU，可以為 LLM 推理和訓(xùn)練、視覺計(jì)算以及視頻應(yīng)用提供驚人的多負(fù)載加速。搭載 NVIDIA L40S GPU 的 OCI Compute 裸機(jī)實(shí)例將于今年晚些時(shí)候推出搶先體驗(yàn)版本，并于 2024 年初全面上市。 這些實(shí)例將作為 NVIDIA H100 和 A100 GPU 實(shí)例的替代方案，用于處理中小型 AI 工作負(fù)載以及圖形和視頻計(jì)算任務(wù)。相比于 NVIDIA A100，NVIDIA L40S GPU 可將生成式 AI 工作負(fù)載的性能提升 20%，將微調(diào) AI 模型方面的性能提升 70%。 BM.GPU.L40S.4 OCI Compute 機(jī)型配置包含 4 顆 NVIDIA L40S GPU，以及多達(dá) 112 個(gè)核的最新一代英特爾至強(qiáng) CPU、1TB 系統(tǒng)內(nèi)存、15.36TB 用于緩存數(shù)據(jù)的低延遲 NVMe 本地存儲(chǔ)和 400GB/s 集群網(wǎng)絡(luò)帶寬。創(chuàng)建該實(shí)例的目的是應(yīng)對(duì)從 LLM 訓(xùn)練、微調(diào)和推理一直到 NVIDIA Omniverse 工作負(fù)載以及工業(yè)數(shù)字化、3D 圖形和渲染、視頻轉(zhuǎn)碼和 FP32 HPC 等各種用例。NVIDIA 與 OCI：企業(yè)級(jí) AI
OCI 與 NVIDIA 的協(xié)作，將為各種規(guī)模的企業(yè)帶來(lái)最先進(jìn)的 NVIDIA H100 和 L40S GPU 加速基礎(chǔ)設(shè)施，助力企業(yè)加入到這場(chǎng)生成式 AI 革命。僅訪問(wèn) NVIDIA GPU 加速實(shí)例可能還不夠。若要在 OCI Compute 上釋放 NVIDIA GPU 的最大潛能，就必須擁有一個(gè)最好的軟件層。NVIDIA AI Enterprise 通過(guò)專為底層 NVIDIA GPU 基礎(chǔ)設(shè)施優(yōu)化的開源容器和框架，簡(jiǎn)化了企業(yè)級(jí)加速 AI 軟件的開發(fā)和部署，所有這一切都離不開支持服務(wù)的幫助。如要了解更多信息，歡迎訪問(wèn)有關(guān) Oracle 云基礎(chǔ)設(shè)施（OCI）、OCI Compute、Oracle 如何邁向 AI 以及 NVIDIA AI Platform 網(wǎng)頁(yè)。
Oracle 云基礎(chǔ)設(shè)施（OCI）：https://www.oracle.com/cloud/
OCI Compute：https://www.oracle.com/cloud/compute/
Oracle 如何邁向 AI：https://www.oracle.com/artificial-intelligence/
NVIDIA AI Platform：https://www.nvidia.cn/ai-data-science/
GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，關(guān)注更多會(huì)議及活動(dòng)信息。
原文標(biāo)題：Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計(jì)算實(shí)例
文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
-
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4116瀏覽量
99655
原文標(biāo)題：Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計(jì)算實(shí)例
文章出處：【微信號(hào)：NVIDIA_China，微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
Oracle和NVIDIA合作加速向量搜索和企業(yè)數(shù)據(jù)處理
IBM宣布擴(kuò)大與NVIDIA的合作
NVIDIA推出BlueField-4 STX存儲(chǔ)架構(gòu)
Arm Neoverse計(jì)算平臺(tái)驅(qū)動(dòng)AI基礎(chǔ)設(shè)施開啟全新紀(jì)元
Meta與NVIDIA達(dá)成多年戰(zhàn)略合作伙伴關(guān)系
Omdia：2025年第三季度，中國(guó)大陸云基礎(chǔ)設(shè)施市場(chǎng)加速增長(zhǎng)24%
云開發(fā)者正加速向Arm架構(gòu)遷移
NVIDIA BlueField-4數(shù)據(jù)處理器重塑新型AI原生存儲(chǔ)基礎(chǔ)設(shè)施
什么是企業(yè)云服務(wù)器-云計(jì)算
NVIDIA Spectrum-X 以太網(wǎng)交換機(jī)助力 Meta 和 Oracle 加速網(wǎng)絡(luò)性能
Lambda采用Supermicro NVIDIA Blackwell GPU服務(wù)器集群構(gòu)建人工智能工廠
IBM和Oracle深化合作伙伴關(guān)系
歐洲聯(lián)手NVIDIA打造AI基礎(chǔ)設(shè)施
硅谷GPU云服務(wù)器是什么意思？使用指南詳解
維諦加速推進(jìn)人工智能基礎(chǔ)設(shè)施演進(jìn)，助力NVIDIA 800 VDC 電源架構(gòu)發(fā)布
評(píng)論