NVIDIA 帶來知乎精彩問答甄選系列，將為您精選知乎上有關 NVIDIA 產(chǎn)品的精彩問答。

本期為問答甄選第二期 ——探索 H100 的奧秘！

NVIDIA H100 是全球 AI 基礎設施的引擎，

讓企業(yè)能夠利用其實現(xiàn)自身 AI 業(yè)務的加速。

今年的 GTC22 上 NVIDIA 發(fā)布其首款基于 Hopper 架構(gòu)的 GPU —NVIDIA H100。

該款 GPU 集成了 800 億個晶體管。H100 是全球范圍內(nèi)最大的性能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴展的 NVIDIA NVLink 互連技術等突破性功能，可推動龐大的 AI 語言模型、深度推薦系統(tǒng)、基因組學和復雜數(shù)字孿生的發(fā)展。

以下三個知乎甄選問答將為您了解NVIDIA H100帶來更加精彩的解答！

Q：NVIDIA GTC 2022 大會官宣，Hopper 計算架構(gòu)要來了，該架構(gòu)有哪些值得期待的亮點？

A：NVIDIA 宣布推出采用 NVIDIA Hopper架構(gòu)的新一代加速計算平臺。與上一代產(chǎn)品相比，該平臺實現(xiàn)了數(shù)量級的性能飛躍。這一全新架構(gòu)以美國計算機領域的先驅(qū)科學家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構(gòu)。

使用 Transformer 引擎訓練 AI 模型：

隨著一些模型（例如大型語言模型）達到數(shù)萬億參數(shù)，AI、高性能計算和數(shù)據(jù)分析變得日益復雜。在當今計算平臺上，大型 AI 模型可能需要數(shù)月來完成訓練。而這樣的速度對于企業(yè)來說太慢了。

NVIDIA Hopper 架構(gòu)從頭開始構(gòu)建，憑借強大的算力和快速的內(nèi)存來加速這些新一代 AI 工作負載，從而處理日益增長的網(wǎng)絡和數(shù)據(jù)集。Transformer 引擎是全新 Hopper 架構(gòu)的一部分，將顯著提升 AI 性能和功能，并助力在幾天或幾小時內(nèi)訓練大型模型。

Transformer 引擎采用 16 位浮點精度和新增的 8 位浮點數(shù)據(jù)格式，并整合先進的軟件算法，將進一步提升 AI 性能和功能。

采用全新 DPX 指令將動態(tài)編程速度提升 40 倍：

NVIDIA Hopper GPU 架構(gòu)利用全新 DPX 指令，將動態(tài)編程速度提高多達 40 倍。動態(tài)編程是一種應用于基因組學、量子計算、路線優(yōu)化等領域算法中，用以解決問題的技術。

Q：基于 Hopper 架構(gòu)的 NVIDIA H100 GPU 有什么突破性創(chuàng)新？

A：H100 GPU 為加速大規(guī)模 AI 和 HPC 設定了新的標準，帶來了六項突破性創(chuàng)新：

先進的芯片—— H100 由 800 億個晶體管構(gòu)建而成，這些晶體管采用了專為 NVIDIA 加速計算需求設計的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近 5TB/s 的外部互聯(lián)帶寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實現(xiàn) 3TB/s 的顯存帶寬。20個 H100 GPU 便可承載相當于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶推出先進的推薦系統(tǒng)以及實時運行數(shù)據(jù)推理的大型語言模型。

新的 Transformer 引擎—— Transformer 現(xiàn)在已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網(wǎng)絡的速度提升至上一代的六倍。

第二代安全多實例 GPU—— MIG 技術支持將單個 GPU 分為七個更小且完全獨立的實例，以處理不同類型的作業(yè)。與上一代產(chǎn)品相比，在云環(huán)境中 Hopper 架構(gòu)通過為每個 GPU 實例提供安全的多租戶配置，將 MIG 的部分能力擴展了 7 倍。

機密計算—— H100 是全球首款具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶數(shù)據(jù)?？蛻暨€可以將機密計算應用于醫(yī)療健康和金融服務等隱私敏感型行業(yè)的聯(lián)邦學習，也可以應用于共享云基礎設施。

第 4 代 NVIDIA NVLink—— 為加速大型 AI 模型，NVLink 結(jié)合全新的外接 NVLink Switch，可將 NVLink 擴展為服務器間的互聯(lián)網(wǎng)絡，最多可以連接多達 256 個 H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網(wǎng)絡，帶寬高出9倍。

DPX 指令—— 新的 DPX 指令可加速動態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學在內(nèi)的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動態(tài)倉庫環(huán)境中為自主機器人車隊尋找最優(yōu)線路，而后者可用于 DNA 和蛋白質(zhì)分類與折疊的序列比對。

H100 的多項技術創(chuàng)新相結(jié)合，進一步擴大了 NVIDIA在 AI 推理和訓練的領導地位，利用大規(guī)模 AI 模型實現(xiàn)了實時沉浸式應用。H100 將支持聊天機器人使用功能超強大的monolithic Transformer 語言模型 Megatron 530B，吞吐量比上一代產(chǎn)品高出 30 倍，同時滿足實時對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發(fā)者能夠訓練龐大的模型，如包含 3950 億個參數(shù)的混合專家模型，訓練速度加速高達9倍，將訓練時間從幾周縮短到幾天。

Q：NVIDIA H100 在 AI 基礎架構(gòu)方面有什么作用？

A：基于 Hopper 架構(gòu)的 NVIDIA H100，是“全球 AI 基礎架構(gòu)的新引擎”。

語音、對話、客服和推薦系統(tǒng)等 AI 應用正在推動數(shù)據(jù)中心設計領域的巨大變革?！癆I 數(shù)據(jù)中心需要處理海量且持續(xù)的數(shù)據(jù)，以訓練和完善 AI 模型，原始數(shù)據(jù)進來，經(jīng)過提煉，然后智能輸出——企業(yè)正在制造智能并運營大型 AI 工廠?！?這些工廠全天候密集運行，即便是質(zhì)量上的小幅改進也能大幅增加客戶參與和企業(yè)利潤。

H100 將幫助這些工廠更快發(fā)展。這個 “龐大” 的 800 億晶體管芯片采用了臺積電的 4 納米工藝制造而成。

“Hopper H100 是有史以來最大的一次性能飛躍——其大規(guī)模訓練性能是 A100 的 9 倍，大型語言模型推理吞吐量是 A100 的 30 倍。”

審核編輯：湯梓紅