AI 技術(shù)日益復(fù)雜，訓(xùn)練與推理領(lǐng)域的新進展對數(shù)據(jù)中心提出了更高的要求。隨著數(shù)據(jù)中心算力的迅速提升，數(shù)據(jù)中心基礎(chǔ)設(shè)施逐漸受到了和算法和模型無關(guān)的基礎(chǔ)物理條件的限制，如電力供應(yīng)、散熱能力以及空間限制等，制約了 AI 工廠的物理擴展。為了持續(xù)增長，在構(gòu)建新的數(shù)據(jù)中心時，需要考慮通過遠程互連技術(shù)將這些計算資源池化在一起，實現(xiàn)協(xié)同服務(wù)于單一訓(xùn)練任務(wù)或分離式推理工作負載。

傳統(tǒng)上，當采用基于通用商業(yè)芯片構(gòu)建的遠程互連以太網(wǎng)來連接多個數(shù)據(jù)中心時，首要目標是確保數(shù)據(jù)能夠準確送達目的地。由于傳輸距離較長，延遲較高，導(dǎo)致網(wǎng)絡(luò)擁塞的概率顯著增加，其后果可能很嚴重。

為緩解這一挑戰(zhàn)并防止丟包，通用以太網(wǎng)供應(yīng)商采用了深度數(shù)據(jù)包緩存作為解決方案，以此來吸收網(wǎng)絡(luò)流量的大規(guī)模突發(fā)，并已部署了這種方案。這種深度緩沖交換機雖適用于遠程服務(wù)提供商和電信應(yīng)用，卻在 AI 應(yīng)用中出現(xiàn)了問題。

特別是，基于深度緩沖交換機的高延遲是其天然的弊病，此外，當緩沖被填滿時，就必須進行排空。對于 AI 工作負載而言，這種情況發(fā)生的不可預(yù)測性，會導(dǎo)致大量的網(wǎng)絡(luò)抖動或數(shù)據(jù)傳輸波動。高延遲和這種網(wǎng)絡(luò)突發(fā)流量吸收技術(shù)帶來的不確定性，會影響訓(xùn)練和分離式推理的性能，因為這些任務(wù)本質(zhì)上是同步的，需要網(wǎng)絡(luò)提供穩(wěn)定且可預(yù)期的傳輸表現(xiàn)。

本文介紹了面向跨區(qū)域網(wǎng)絡(luò)的NVIDIA Spectrum-XGS 以太網(wǎng)技術(shù)是如何實現(xiàn)不同數(shù)據(jù)中心之間的互連，并提供滿足 AI 應(yīng)用所需的高性能。

什么是跨區(qū)域網(wǎng)絡(luò)？

跨區(qū)域網(wǎng)絡(luò)是一種新型的 AI 計算網(wǎng)絡(luò)互連架構(gòu)，可被視為一個新維度，獨立于現(xiàn)有的縱向擴展和橫向擴展網(wǎng)絡(luò)。借助于跨區(qū)域網(wǎng)絡(luò)的 Spectrum-XGS 以太網(wǎng)，不同規(guī)模和不同距離的多個數(shù)據(jù)中心能夠被整合為一個統(tǒng)一的大型 AI 工廠，首次實現(xiàn)了在跨地域的多個獨立的數(shù)據(jù)中心之間運行大規(guī)模單 AI 訓(xùn)練與推理任務(wù)所需的網(wǎng)絡(luò)高性能。

圖 1. AI 所需的三種網(wǎng)絡(luò)類型是縱向擴展、橫向擴展和跨區(qū)域擴展

NVIDIA Spectrum-XGS 以太網(wǎng)如何實現(xiàn)跨區(qū)域網(wǎng)絡(luò)擴展？

NVIDIA Spectrum-XGS 以太網(wǎng)是 NVIDIA Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)平臺的一項新技術(shù)。它采用了同樣的 Spectrum-X 以太網(wǎng)交換機和 ConnectX-8 SuperNIC 硬件組合，以及和數(shù)據(jù)中心內(nèi)橫向擴展網(wǎng)絡(luò)相同的軟件棧與通信庫。

借助 Spectrum-XGS 以太網(wǎng)，AI 工廠之間可實現(xiàn)長距離連接，如 500 米以上的連接，這意味著實現(xiàn)園區(qū)內(nèi)不同建筑之間的連接，或者跨越數(shù)十乃至數(shù)百英里，實現(xiàn)跨城市、跨州乃至跨國之間的連接。為了支持這種跨區(qū)域擴展的連接需求，保障高效帶寬與性能隔離的算法也必須持續(xù)發(fā)展。

距離感知算法在跨區(qū)域網(wǎng)絡(luò)擴展中的作用是什么？

長距離傳輸數(shù)據(jù)面臨的主要挑戰(zhàn)之一是延遲的增加，即使數(shù)據(jù)以光的形式在光纖中傳播也是如此。數(shù)據(jù)在玻璃纖維中每傳輸 1 米需要 5 納秒，意味著每傳輸 1 公里需要 5 微秒。盡管這些數(shù)值看似微小，但在 GPU 之間的通信中，每微秒都至關(guān)重要。

Spectrum-XGS 以太網(wǎng)采用了改進的基于遙測技術(shù)的擁塞控制與動態(tài)路由算法，專門根據(jù)通信設(shè)備之間的距離進行了優(yōu)化。在每次連接建立時，網(wǎng)絡(luò)會知道相互連接的兩臺設(shè)備是在數(shù)據(jù)中心內(nèi)，還是跨越數(shù)據(jù)中心。

這有助于交換機確定動態(tài)路由負載均衡的最佳策略，并通知 SuperNIC 調(diào)整面向擁塞控制的數(shù)據(jù)注入速率。在網(wǎng)絡(luò)層面，這使得 Spectrum-XGS 以太網(wǎng)能夠高效處理通信，并避免額外延遲。

Spectrum-XGS 以太網(wǎng)技術(shù)在跨區(qū)域網(wǎng)絡(luò)方面具有多項顯著優(yōu)勢，包括：

集成、統(tǒng)一的網(wǎng)絡(luò)架構(gòu):Spectrum-X 以太網(wǎng)橫向擴展和 Spectrum-XGS 以太網(wǎng)跨區(qū)域擴展均基于相同的硬件、軟件和通信庫。可以工作負載和網(wǎng)絡(luò)操作的統(tǒng)一管理，這是通用以太網(wǎng)無法實現(xiàn)的。

基于遙測的端到端擁塞控制:統(tǒng)一架構(gòu)還支持全局網(wǎng)絡(luò)可視化。借助來自數(shù)據(jù)中心內(nèi)外網(wǎng)絡(luò)的全面遙測數(shù)據(jù)，無需深度緩沖交換即可實現(xiàn)基于遙測的擁塞控制。

智能、自動調(diào)節(jié)負載均衡:Spectrum-X 以太網(wǎng) AI 網(wǎng)絡(luò)具有距離感知和 NVIDIA 集合通信庫（NCCL）-感知功能，能夠感知和補償由位置而導(dǎo)致的不同網(wǎng)絡(luò)流量模式，并動態(tài)調(diào)整臨界值和限制，以確保最高的網(wǎng)絡(luò)性能。

更大限度地降低跨區(qū)域工作負載的延遲: Spectrum-XGS 以太網(wǎng)專為提供可預(yù)測的結(jié)果而進行了優(yōu)化，這使網(wǎng)絡(luò)能夠感知和補償遠距離傳輸?shù)臄?shù)據(jù)流，最大限度地減少延遲損失，且不存在深度緩沖帶來的抖動風(fēng)險。

彈性跨區(qū)域擴展能力:由于相同的硬件被用于橫向擴展和跨區(qū)域擴展，因此可以重新分配網(wǎng)絡(luò)資源以支持數(shù)據(jù)中心內(nèi)或數(shù)據(jù)中心間的流量。通用的淺緩沖以太網(wǎng)交換機無法被用于遠程連接。

NVIDIA Spectrum-XGS 以太網(wǎng)有哪些性能優(yōu)勢？

為展示 NVIDIA Spectrum-XGS 以太網(wǎng)對跨區(qū)域擴展性能的影響，NVIDIA 工程師在相距 10 公里的多點之間運行了 NCCL 測試，并將其結(jié)果與通用以太網(wǎng)進行了對比。如圖 2 所示，性能優(yōu)勢十分顯著：

圖 2. 與通用以太網(wǎng)相比，NVIDIA Spectrum-XGS 以太網(wǎng)可將性能提升高達 1.9 倍

相較通用以太網(wǎng)，NVIDIA Spectrum-XGS 以太網(wǎng)可提供高達 1.9 倍的 NCCL All-Reduce 帶寬，特別是對于大消息，性能提升尤為顯著，而這正是 AI 訓(xùn)練工作負載中的典型場景。NCCL 性能的提升有助于縮短 AI 應(yīng)用的任務(wù)完成時間。

跨區(qū)域網(wǎng)絡(luò)如何提高AI 工廠的投資回報率？

NVIDIA Spectrum-XGS 以太網(wǎng)增強了 AI 基礎(chǔ)設(shè)施的靈活性。該技術(shù)使數(shù)據(jù)中心能夠在任意距離下實現(xiàn)高效通信，且不犧牲性能，從而構(gòu)建出可在橫向擴展架構(gòu)與跨區(qū)域網(wǎng)絡(luò)擴展之間共享的通用平臺?；?Spectrum-XGS 以太網(wǎng)的多個以太網(wǎng)數(shù)據(jù)中心能夠被輕松整合為一個統(tǒng)一的整體，突破了地理位置的限制。

基于 Spectrum-XGS 構(gòu)建的以太網(wǎng)數(shù)據(jù)中心能夠被無縫整合為單一系統(tǒng)運行，無論相距多遠。這使得關(guān)鍵任務(wù)型 AI 基礎(chǔ)設(shè)施可以高效池化數(shù)據(jù)中心資源，持續(xù)為復(fù)雜 AI 工作負載提供價值。