大語言模型（LLM）和人工智能應用程序（如 ChatGPT 和 DALL-E）最近出現(xiàn)了快速增長。由于 GPU、CPU、DPU、高速存儲和針對人工智能優(yōu)化的軟件創(chuàng)新，人工智能現(xiàn)在得到了廣泛使用。您甚至可以在云端或內(nèi)部部署人工智能。

然而，人工智能應用程序可能會對網(wǎng)絡(luò)造成很大負擔，這種增長給 CPU 和 GPU 服務(wù)器以及將這些系統(tǒng)連接到一起的現(xiàn)有底層網(wǎng)絡(luò)基礎(chǔ)設(shè)施帶來了負擔。

傳統(tǒng)以太網(wǎng)雖然足以處理主流和企業(yè)應用程序，如 Web、視頻或音頻流，但并未針對支持新一代人工智能工作負載進行優(yōu)化。在松耦合應用、低帶寬數(shù)據(jù)流和高抖動的情況下，傳統(tǒng)以太網(wǎng)是理想的選擇。它可能足以滿足異構(gòu)流量（如 Web、視頻或音頻流、文件傳輸和游戲），但在發(fā)生超額訂閱時并不理想。

NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺是一種端到端解決方案，專為滿足人工智能應用程序的性能需求而全新設(shè)計，并針對高速網(wǎng)絡(luò)性能、低延遲和規(guī)模進行了優(yōu)化。

NVIDIA Spectrum-X

NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺是為了解決傳統(tǒng)以太網(wǎng)網(wǎng)絡(luò)的局限性而開發(fā)的。它是一種網(wǎng)絡(luò)架構(gòu)，旨在滿足要求苛刻的人工智能應用程序的需求，用于實現(xiàn)緊耦合的過程。

這種經(jīng)過 NVIDIA 認證和測試的端到端解決方案結(jié)合了一流的人工智能優(yōu)化網(wǎng)絡(luò)硬件和軟件，可提供人工智能工作負載所需的可預測的、一致的和毫不妥協(xié)的性能水平。

圖 1：NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺將 NVIDIA Spectrum-4 以太網(wǎng)交換機與 NVIDIA BlueField-3 DPU 相結(jié)合，為 AI 工作負載提供最佳性能

NVIDIA Spectrum-X 是一種高度通用的技術(shù)，可用于各種人工智能應用程序。具體而言，它可以在以下用例中顯著提高 AI 集群的性能和效率：

• GPT 和 BERT 大型語言模型

• 分布式訓練和并行處理

• 自然語言處理（NLP）

• 計算機視覺

• 高性能模擬（NVIDIA Omniverse 和 NVIDIA OVX）

• 高性能數(shù)據(jù)分析（Spark）

• 推理應用程序

NVIDIA Spectrum-X 平臺的兩個關(guān)鍵元素是NVIDIA Spectrum-4 以太網(wǎng)交換機和 NVIDIA BlueField-3 DPU。

NVIDIA Spectrum-4 以太網(wǎng)交換機

NVIDIA Spectrum-4 以太網(wǎng)交換機為基于標準的以太網(wǎng)構(gòu)建的 AI 集群提供了前所未有的應用程序性能。要充分發(fā)揮 NVIDIA Spectrum-4 的潛力，需要端到端的、專門構(gòu)建的網(wǎng)絡(luò)架構(gòu)。只有 NVIDIA Spectrum-X 平臺才能提供支持超大規(guī)模人工智能所需的硬件加速器和卸載。

NVIDIA Spectrum-4 以太網(wǎng)交換機基于 51.2Tbps 的 Spectrum-4 ASIC 而構(gòu)建，帶寬是上一代產(chǎn)品的 4 倍。它是全球首款以太網(wǎng)人工智能交換平臺。它專為人工智能工作負載而設(shè)計，將專用的高性能架構(gòu)與標準以太網(wǎng)連接相結(jié)合。

NVIDIA Spectrum-4 提供：

• RoCE 擴展：具有獨特增強功能的 RoCE

• RoCE 自適應路由

• RoCE 性能隔離

• 簡化、自動化的自適應路由和 RoCE 配置

• 同步集合

• 用于 HPC 增強的其他 RoCE 功能

• 大規(guī)模以太網(wǎng)上的最高有效帶寬

• 低延遲、低抖動和短尾

• 確定性性能和性能隔離

• 全棧和端到端優(yōu)化

• NVIDIA Cumulus Linux 或 SONiC

圖 2 : NVIDIA Spectrum-4 將專用的高性能架構(gòu)與標準以太網(wǎng)連接相結(jié)合

NVIDIA Spectrum-X 與 NVIDIA Spectrum-4 的主要優(yōu)勢包括：

• 將 RoCE 擴展用于 AI 和自適應路由（AR），以實現(xiàn) NVIDIA 集合通信庫（NCCL）的最大性能。

• 利用性能隔離來確保在多租戶和多作業(yè)環(huán)境中，一個作業(yè)不會影響另一個作業(yè)。

• 確保在出現(xiàn)網(wǎng)絡(luò)組件故障時，網(wǎng)絡(luò)架構(gòu)能夠繼續(xù)提供最高性能。

• 與 BlueField-3 DPU 同步，實現(xiàn)最佳 NCCL 和 AI 性能。

• 在各種人工智能工作負載下保持一致和穩(wěn)定的性能，這對實現(xiàn) SLA 至關(guān)重要。

端到端最佳網(wǎng)絡(luò)性能

要構(gòu)建有效的人工智能計算網(wǎng)絡(luò)架構(gòu)，需要優(yōu)化人工智能網(wǎng)絡(luò)的每一個部分，從 DPU 到交換機再到網(wǎng)絡(luò)軟件。使用 RoCE 自適應路由和高級擁塞控制機制等技術(shù)，在負載和規(guī)模需求下實現(xiàn)最高有效帶寬。結(jié)合在 NVIDIA BlueField-3 DPU 和 Spectrum-4 交換機上同步工作的功能對于實現(xiàn) AI 網(wǎng)絡(luò)架構(gòu)的最高性能和可靠性至關(guān)重要。

RoCE 自適應路由

人工智能工作負載和應用程序的特點是少量大象流負責 GPU 之間的大量數(shù)據(jù)移動，其中尾部延遲嚴重影響整個應用程序的性能。使用傳統(tǒng)的網(wǎng)絡(luò)路由機制來迎合這種流量模式可能會導致 AI 工作負載的 GPU 性能不一致且未得到充分利用。

RoCE 自適應路由是一種細粒度的負載均衡技術(shù)。它動態(tài)地重新路由 RDMA 數(shù)據(jù)以避免擁塞，并提供最佳負載均衡以實現(xiàn)最高的有效數(shù)據(jù)帶寬。

它是一種端到端功能，包括 Spectrum-4 交換機和 BlueField-3 DPU 。Spectrum-4 交換機負責為每個數(shù)據(jù)包選擇最不擁塞的端口進行數(shù)據(jù)傳輸。由于同一流的不同數(shù)據(jù)包通過網(wǎng)絡(luò)的不同路徑來傳輸，它們可能會無序到達目的地。BlueField-3 在 RoCE 傳輸層轉(zhuǎn)換任何無序數(shù)據(jù)，透明地將有序數(shù)據(jù)傳遞給應用程序。

Spectrum-4 根據(jù)出口隊列負載評估擁塞，確保所有端口都很好地均衡。對于每個網(wǎng)絡(luò)數(shù)據(jù)包，交換機都會在其出口隊列中選擇負載最小的端口。Spectrum-4 還接收來自相鄰交換機的狀態(tài)通知，這會影響路由決策。所評估的隊列與服務(wù)質(zhì)量級別相匹配。

因此，NVIDIA Spectrum-X 能夠在超大規(guī)模系統(tǒng)的負載和規(guī)模下實現(xiàn)高達 95% 的有效帶寬。

圖 3 ：NVIDIA Spectrum-4 典型數(shù)據(jù)中心部署結(jié)構(gòu)

RoCE 擁塞控制

由于網(wǎng)絡(luò)層面的擁塞，在超大規(guī)模云系統(tǒng)上并發(fā)運行的應用程序可能會出現(xiàn)性能下降和可重復運行時間縮短的問題。這可能是由應用程序本身的網(wǎng)絡(luò)流量或來自其他應用程序的后臺網(wǎng)絡(luò)流量引起的。這種擁塞的主要原因被稱為多對一擁塞，即存在多個數(shù)據(jù)發(fā)送方和單一數(shù)據(jù)接收方。

這種擁塞不能使用自適應路由來解決，并且實際上需要對每個端點的數(shù)據(jù)流進行計量。擁塞控制是一種端到端的技術(shù)，Spectrum-4 交換機提供代表實時擁塞數(shù)據(jù)的網(wǎng)絡(luò)遙測信息。這些遙測信息由 BlueField DPU 處理，后者管理和控制數(shù)據(jù)發(fā)送方的數(shù)據(jù)注入速率，從而實現(xiàn)網(wǎng)絡(luò)共享的最大效率。

如果沒有擁塞控制，多對一的場景將導致網(wǎng)絡(luò)背壓和擁塞擴散，甚至出現(xiàn)丟包，從而極大地降低網(wǎng)絡(luò)和應用程序的性能。

在擁塞控制過程中，BlueField-3 DPU 執(zhí)行擁塞控制算法。它們以微秒的反應延遲每秒處理數(shù)百萬個擁塞控制事件，并應用細粒度的速率決策。

Spectrum-4 交換機帶內(nèi)遙測既包含用于準確擁塞估計的排隊信息，也包含用于快速恢復的端口利用率指示。NVIDIA RoCE 擁塞控制通過使遙測數(shù)據(jù)繞過擁塞流排隊延遲，同時仍然提供準確和并發(fā)的遙測，從而顯著改善了擁塞發(fā)現(xiàn)和反應時間。

RoCE 性能隔離

人工智能超大規(guī)模和云基礎(chǔ)設(shè)施需要支持越來越多的用戶（租戶）和并行應用程序或工作流。這些用戶和應用程序無意中競爭基礎(chǔ)設(shè)施的共享資源（如網(wǎng)絡(luò)），因此可能會影響性能。

NVIDIA Spectrum-X 平臺包括一些機制，當它們結(jié)合在一起時，可以提供性能隔離。它確保一個工作負載不會影響另一個工作負荷的性能。這些機制確保任何工作負載都不會造成網(wǎng)絡(luò)擁塞，從而影響另一個工作負載的數(shù)據(jù)移動。性能隔離機制包括服務(wù)質(zhì)量隔離、用于數(shù)據(jù)路徑擴展的 RoCE 自適應路由和 RoCE 擁塞控制。

NVIDIA Spectrum-X 平臺具有軟件和硬件的緊密集成功能，能夠更深入地了解人工智能工作負載和流量模式。這樣的基礎(chǔ)設(shè)施提供了使用專用以太網(wǎng) AI 集群進行大型工作負載測試的能力。通過利用來自 Spectrum 以太網(wǎng)交換機和 BlueField-3 DPU 的遙測技術(shù)，NVIDIA NetQ 可以主動檢測網(wǎng)絡(luò)問題并更快地解決網(wǎng)絡(luò)問題，以優(yōu)化網(wǎng)絡(luò)容量的使用。

NVIDIA NetQ 網(wǎng)絡(luò)驗證和 ASIC 監(jiān)控工具集提供了對網(wǎng)絡(luò)健康狀況和行為的可見性。NetQ 流遙測分析顯示了數(shù)據(jù)流在穿越網(wǎng)絡(luò)時所采用的路徑，從而提供網(wǎng)絡(luò)延遲和性能洞察。

提高能效

由于對計算資源的需求不斷增長以及控制能源成本的需要，功率封頂已成為數(shù)據(jù)中心的一種常見做法。Spectrum-4 ASIC 和光學創(chuàng)新可簡化網(wǎng)絡(luò)設(shè)計，提高了每瓦的性能，實現(xiàn)了更高效率，并提供了更快的人工智能洞察，而不會超過網(wǎng)絡(luò)功率預算。

總結(jié)

NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺專為要求苛刻的人工智能應用而設(shè)計。與傳統(tǒng)以太網(wǎng)相比，NVIDIA Spectrum-X 具有更高的性能、更低的功耗、更低的 TCO、全棧軟硬件集成和大規(guī)模，它是運行現(xiàn)有和未來人工智能工作負載的理想平臺。

觀看下方視頻

了解更多關(guān)于 NVIDIA Spectrum-X 的信息！

掃描下方二維碼，查看更多有關(guān) NVIDIA Spectrum-X 的信息。

?

更多精彩內(nèi)容 COMPUTEX2023 | NVIDIA 推出面向超大規(guī)模生成式 AI 的加速以太網(wǎng)平臺