大語(yǔ)言模型（Large Language Model，下文簡(jiǎn)稱為：LLM）的發(fā)展如火如荼。以ChatGPT為代表的LLM可執(zhí)行更為廣泛的任務(wù)并具有更高的智能化程度，刷新了人們對(duì)AI技術(shù)的新認(rèn)知。當(dāng)然，LLM規(guī)模龐大，通常包含數(shù)十億參數(shù)，需要海量的訓(xùn)練數(shù)據(jù)與強(qiáng)大算力支撐才能達(dá)到預(yù)期的效果。

其實(shí)，無(wú)論LLM還是其他應(yīng)用越來(lái)越廣泛的深度學(xué)習(xí)模型，從模型訓(xùn)練到推理應(yīng)用，都需要高性能、可擴(kuò)展的基礎(chǔ)設(shè)施作為底層支撐，這往往也意味著高昂的成本。近日，英特爾發(fā)布的最新Habana Gaudi2，專為訓(xùn)練大語(yǔ)言模型而構(gòu)建，并為數(shù)據(jù)中心大規(guī)模擴(kuò)展而設(shè)計(jì)，同時(shí)為深度學(xué)習(xí)訓(xùn)練和推理工作負(fù)載提供極具性價(jià)比的解決方案。

在6月公布的MLCommonsMLPerf基準(zhǔn)測(cè)試中，Gaudi2在GPT-3模型、計(jì)算機(jī)視覺(jué)模型ResNet-50（使用8個(gè)加速器）、Unet3D（使用8個(gè)加速器），以及自然語(yǔ)言處理模型BERT（使用8個(gè)和64個(gè)加速器）上均取得了優(yōu)異的訓(xùn)練結(jié)果。與市場(chǎng)上其他面向大規(guī)模生成式AI和大語(yǔ)言模型的產(chǎn)品相比，Gaudi2擁有卓越的性能與領(lǐng)先的性價(jià)比優(yōu)勢(shì)，能夠幫助用戶提升運(yùn)營(yíng)效率的同時(shí)，降低運(yùn)營(yíng)成本。

Gaudi2實(shí)現(xiàn)性能、可擴(kuò)展性和能效飛躍

第二代Gaudi AI深度學(xué)習(xí)夾層卡 HL-225B 專為數(shù)據(jù)中心實(shí)現(xiàn)大規(guī)模橫向擴(kuò)展而設(shè)計(jì)。其AI處理器基于第一代 Gaudi的高效架構(gòu)打造而成，目前采用7納米制程工藝，在性能、可擴(kuò)展性和能效方面均實(shí)現(xiàn)了飛躍。

夾層卡搭載的HL-2080 處理器擁有24個(gè)完全可編程的第四代張量處理器核心（TPC）。這些核心原生設(shè)計(jì)便能夠?yàn)閺V泛的深度學(xué)習(xí)工作負(fù)載加速，同時(shí)還賦予用戶按需進(jìn)行優(yōu)化和創(chuàng)新的靈活性。此外，它還集成了96GB HBM2e內(nèi)存和48MB SRAM，支持600瓦夾層卡級(jí)熱設(shè)計(jì)功耗（TDP）。

Gaudi2 處理器具備出色的2.1 Tbps 網(wǎng)絡(luò)容量可擴(kuò)展性，原生集成21個(gè)100 Gbps RoCE v2 RDMA端口，可通過(guò)直接路由實(shí)現(xiàn)Guadi 處理器間通信。Gaudi2處理器集成了專用媒體處理器，用于圖像和視頻解碼及預(yù)處理。

此外，Gaudi2 深度學(xué)習(xí)夾層卡符合OCP OAM 1.1（開(kāi)放計(jì)算平臺(tái)之開(kāi)放加速器模塊）等多種規(guī)范，可以為客戶帶來(lái)系統(tǒng)設(shè)計(jì)的靈活性。

圖：Gaudi2 深度學(xué)習(xí)夾層卡 HL-225B 主要參數(shù)

多維度技術(shù)創(chuàng)新，實(shí)現(xiàn)卓越性價(jià)比

Gaudi2 處理器是一款高性能、完全可編程的AI處理器，它整合了多項(xiàng)技術(shù)創(chuàng)新，從計(jì)算架構(gòu)、內(nèi)存和擴(kuò)展能力三個(gè)維度打造全新的AI 專用處理器。同時(shí)，它具有高內(nèi)存帶寬/容量和基于標(biāo)準(zhǔn)以太網(wǎng)技術(shù)的縱向擴(kuò)展能力，支持使用外接網(wǎng)卡通過(guò)PCIe接口實(shí)現(xiàn)橫向擴(kuò)展，滿足多節(jié)點(diǎn)集群需要。

[ 性能更高的計(jì)算架構(gòu) ]

Gaudi2 采用經(jīng)過(guò)驗(yàn)證的高性能深度學(xué)習(xí)AI訓(xùn)練處理器架構(gòu)，利用Habana完全可編程的TPC和GEMM引擎，支持面向AI的高級(jí)數(shù)據(jù)類型：FP8、BF16、FP16、TF32和FP32。TPC核心旨在支持深度學(xué)習(xí)訓(xùn)練和推理工作負(fù)載。TPC是一款VLIW SIMD矢量處理器，其指令集和郵件經(jīng)過(guò)定制，可高效處理上述工作負(fù)載。

[ 更先進(jìn)的內(nèi)存技術(shù) ]

內(nèi)存帶寬和容量與計(jì)算能力同樣重要。Gaudi2 采用先進(jìn)的HBM內(nèi)存技術(shù)，內(nèi)存容量高達(dá)96GB，內(nèi)存帶寬高達(dá)2.4TB/s。Gaudi先進(jìn)的HBM控制器已針對(duì)隨機(jī)訪問(wèn)和線性訪問(wèn)進(jìn)行了優(yōu)化，在各種訪問(wèn)模式下均可提供高內(nèi)存帶寬。

[ 通過(guò)集成RDMA實(shí)現(xiàn)縱向擴(kuò)展 ]

Gaudi AI訓(xùn)練處理器芯片上集成了RDMA（RoCEv2），可與成熟且廣泛使用的以太網(wǎng)進(jìn)行連接。HL-2080芯片互連技術(shù)基于42對(duì)56 Gbps Tx/Rx PAM4 SerDes（配置為21個(gè)100 GbE端口）發(fā)揮作用。

與廣泛的軟件生態(tài)一起，
幫助簡(jiǎn)化模型的開(kāi)發(fā)和遷移

為支持客戶輕松構(gòu)建模型，或?qū)?dāng)前基于GPU的模型業(yè)務(wù)和系統(tǒng)遷移到基于全新Gaudi2服務(wù)器，并幫助保護(hù)軟件開(kāi)發(fā)投入，SynapseAI軟件套件針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)業(yè)務(wù)進(jìn)行了優(yōu)化，旨在與廣泛的軟件生態(tài)系統(tǒng)一起，幫助簡(jiǎn)化模型的開(kāi)發(fā)和遷移。

SynapseAI 軟件套件旨在提高 Habana AI處理器的易用性和支持高性能訓(xùn)練，能夠?qū)?a href="http://m.sdkjxy.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)拓?fù)涓咝в成涞紾audi系列硬件上。該軟件套件包括Habana 的圖編譯器和運(yùn)行時(shí)、經(jīng)過(guò)性能優(yōu)化的TPC算子庫(kù)、固件和驅(qū)動(dòng)程序以及開(kāi)放工具，例如用于自定義核心開(kāi)發(fā)的TPC 編程工具套件和SynapseAI 圖編譯器。SynapseAI與TensorFlow和PyTorch等主流框架集成，并已針對(duì)基于Gaudi AI 處理器家族產(chǎn)品的訓(xùn)練進(jìn)行了優(yōu)化。數(shù)據(jù)科學(xué)家和開(kāi)發(fā)人員在這里可以找到開(kāi)始基于Gaudi AI 處理器進(jìn)行訓(xùn)練所需的各類信息資料，包括教程、參考模型、操作指南、文檔等。

擴(kuò)展AI產(chǎn)品陣容，加速AI落地

Gaudi2不僅以高性能為AI模型的訓(xùn)練與推理加速，其高擴(kuò)展性和性價(jià)比，也將加速AI應(yīng)用落地的進(jìn)程。多年來(lái)，借助強(qiáng)大的軟硬件基礎(chǔ)，英特爾基于全面的AI產(chǎn)品和解決方案，與廣泛合作伙伴一同構(gòu)建開(kāi)放生態(tài)，為越來(lái)越多不同需求和場(chǎng)景的AI應(yīng)用落地提供更多元的解決方案，持續(xù)引領(lǐng)產(chǎn)品技術(shù)發(fā)展，進(jìn)一步加速大規(guī)模深度學(xué)習(xí)部署，助力中國(guó)本地AI市場(chǎng)發(fā)展。

想看更多“芯”資訊