英偉達憑借其 GB200、300 NVL72 機架系統(tǒng)，在全球多個AI技術(shù)前沿地區(qū)已實現(xiàn)大規(guī)模出貨與應(yīng)用，成為業(yè)內(nèi)首家也是少數(shù)能將“超節(jié)點”概念從理論推向極致工程化實踐的公司。

大摩對2025年全年GB200/300 NVL72出貨量的預測在28K臺左右，分別由廣達、Wistron以及鴻海等公司（ODM）組裝集成。

英偉達構(gòu)建的“超節(jié)點”（Super Node）生態(tài)，是一個以CUDA統(tǒng)一軟件棧為基座、以極致協(xié)同設(shè)計為靈魂、貫穿從硅物理到AI應(yīng)用的全棧式體系。其核心并非單一技術(shù)突破，而在于通過端到端的深度集成，將每一層的性能與效率推向極限，從而將龐大的數(shù)據(jù)中心塑造成一臺能夠高效執(zhí)行單一AI任務(wù)的“巨型計算機”。

更實際的來說，超節(jié)點系統(tǒng)的根本需求直接地來源于上層AI的應(yīng)用本身。如何將AI模型的訓練或者推理在計算、通信與內(nèi)存訪問等模式下，通過深度的軟硬件協(xié)同設(shè)計，構(gòu)成一個高效執(zhí)行的整體，這個為特定AI負載而生的協(xié)同系統(tǒng)，才是真正意義的超節(jié)點。

從硬件層到模型算法，構(gòu)筑全鏈條生態(tài)范式

AI生態(tài)是一個貫穿“硬件層→系統(tǒng)底層→框架工具→模型算法→推理服務(wù)→運維管理→終端應(yīng)用”的全棧式技術(shù)體系。其核心在于打通從芯片算力到行業(yè)場景的完整鏈條，旨在實現(xiàn)計算資源的全局智能調(diào)度、AI模型的高效部署迭代，以及產(chǎn)業(yè)智能價值的全面挖掘與釋放。

服務(wù)與管理層

服務(wù)與管理層是企業(yè)AI能力的“指揮中樞”與“運行平臺”，它面向企業(yè)級用戶提供綜合服務(wù)以實現(xiàn)算力資源的智能化管理和服務(wù)化輸出為目標。此層包括算力調(diào)度與管理平臺（統(tǒng)一調(diào)度 GPU/NPU 資源）、高性能推理引擎（支持多模型并發(fā)）、一站式開發(fā)平臺（DevOps+MLOps）、全域監(jiān)控與容錯系統(tǒng)（保障服務(wù)穩(wěn)定性和可靠性）。這些服務(wù)幫助企業(yè)構(gòu)建自主、高效、穩(wěn)定的AI能力中臺，提高工作效率。

案例：Triton推理服務(wù)平臺是英偉達推出的開源推理服務(wù)軟件，其核心定位是成為部署與管理生產(chǎn)環(huán)境中AI模型的“操作系統(tǒng)”。它不負責底層模型的逐層優(yōu)化（屬于TensorRT的工作），而是專注于解決在GPU服務(wù)器集群上，如何同時高效、穩(wěn)定地服務(wù)成百上千個不同模型實例的系統(tǒng)級挑戰(zhàn)。

Triton的主要功能在于多框架、多模型、多實例并發(fā)服務(wù)：它能在一個服務(wù)器上同時加載和運行來自TensorFlow、PyTorch等多個后端的模型。每個模型還可以部署多個實例并利用動態(tài)批處理等技術(shù)，讓這些模型和實例并發(fā)處理請求，最大化GPU利用率，實現(xiàn)從單卡到多卡、多節(jié)點的橫向擴展。Triton可以理解為生產(chǎn)服務(wù)平臺，為企業(yè)級模型部署進行管理。

推理層

推理層致力于實現(xiàn)模型在實際業(yè)務(wù)中的高效運行，其核心目標是達到低延遲、高吞吐量、低成本的實時推理服務(wù)。它包含推理框架（如TensorRT、OpenVINO）、執(zhí)行引擎（計算圖編譯器）、性能優(yōu)化模塊（內(nèi)存與緩存管理 KV Cache 優(yōu)化、計算加速如算子融合、低精度推理、并行與調(diào)度如連續(xù)批處理、混合并行）。這些組成部分保證了模型能夠在生產(chǎn)環(huán)境中穩(wěn)定、高效地運作。

（圖：來源英偉達）

案例：TensorRT是英偉達推出的高性能深度學習推理優(yōu)化引擎，專門將訓練好的AI模型轉(zhuǎn)化為高效的推理引擎，實現(xiàn)最高40倍加速。它將多個計算層合并為單個優(yōu)化內(nèi)核。例如將"卷積→批歸一化→激活函數(shù)"三個獨立操作融合成一個CUDA kernel，減少67%的內(nèi)存訪問次數(shù)和GPU啟動開銷。TensorRT實現(xiàn)精準與量化，最大化利用GPU Tensor Core，同時支持多精度推理包括FP16，INT8，F(xiàn)P8/INT4等，實現(xiàn)倍數(shù)性能提升和顯存節(jié)省。

此外，其具備內(nèi)核自動調(diào)優(yōu)功能，針對不同的模型架構(gòu)、輸入尺寸和英偉達GPU架構(gòu)（如Ampere, Hopper），TensorRT會從海量的優(yōu)化內(nèi)核實現(xiàn)中，自動為每一層操作選擇或生成運行最快的那個內(nèi)核。這使得同一個模型在不同代次的GPU上都能獲得最優(yōu)性能。

模型與算法

模型與算法層聚焦于模型本身的技術(shù)創(chuàng)新與優(yōu)化，旨在不犧牲精度的前提下，提升模型推理速度與部署效率。該層涉及模型架構(gòu)創(chuàng)新（如 Transformer、MoE）、模型優(yōu)化技術(shù)（量化、壓縮、剪枝、蒸餾）、模型算法加速與改進，以及模型 IDE／模型倉庫（支持模型版本管理、共享與復用）。這些元素結(jié)合在一起，促進了模型的快速迭代和高效利用。

（圖：由AI Agent生成）

案例：DeepSeek-V3在架構(gòu)創(chuàng)新上取得了突破性進展。該模型擁有671B總參數(shù)，但每個token僅激活37B參數(shù)，激活率僅為5.5%，這極大降低了推理成本 團隊引入了創(chuàng)新的MLA（Multi-head Latent Attention）機制，將傳統(tǒng)MHA（Multi-head Attention）中的KV緩存壓縮至原來的1/8，直接解決了長文本推理中的顯存瓶頸問題。

在優(yōu)化層面，DeepSeek采用了FP8混合精度訓練，在不損失模型精度的前提下，將訓練速度提升了2.3倍。同時，通過自研的DualPipe流水線并行算法，實現(xiàn)了跨節(jié)點94.6%的通信效率，遠超傳統(tǒng)方案的75-80%水平。在2048個GPU節(jié)點的超節(jié)點集群上，DeepSeek-V3的訓練吞吐量達到了每秒14.8萬tokens，訓練總成本僅為557萬美元，相比GPT-4等同級別模型降低了60%以上。這一系列數(shù)據(jù)充分證明：算法架構(gòu)的精心設(shè)計與硬件基礎(chǔ)設(shè)施的深度耦合，能夠創(chuàng)造出遠超線性疊加的系統(tǒng)級性能增益。

框架與工具

這一層面向算法工程師，提供了構(gòu)建神經(jīng)網(wǎng)絡(luò)所需的深度學習框架、分布式訓練工具包和自動化運維工具。優(yōu)秀的框架層能夠自動處理復雜的并行策略（數(shù)據(jù)并行、模型并行、流水線并行），極大地降低了模型開發(fā)的門檻。

（圖：AI Agent生成）

舉例：Megatron-LM 是由NVIDIA開發(fā)的大規(guī)模語言模型訓練框架。Megatron-LM作為一個輕量級的研究框架，利用Megatron-Core以無與倫比的速度訓練LLM。Megatron-Core作為主要組件，是一個開源庫，包含GPU優(yōu)化技術(shù)和對大規(guī)模訓練至關(guān)重要的前沿系統(tǒng)級優(yōu)化。它支持多種高級模型混合并行技術(shù)，包括張量、序列、流水線、上下文和 MoE 專家并行。該庫提供可定制的構(gòu)建模塊、訓練彈性功能（如快速分布式檢查點）以及許多創(chuàng)新功能。

在單超節(jié)點內(nèi)部（如DGX系統(tǒng)，通過NVLink全互聯(lián)），Megatron-LM會優(yōu)先將通信最密集的張量并行組部署在NVLink帶寬最高、延遲最低的GPU子集內(nèi)，最大化利用其數(shù)TB/s的互聯(lián)帶寬。對于跨超節(jié)點的流水線并行，則通過InfiniBand或Spectrum-X以太網(wǎng)進行通信，框架會優(yōu)化通信與計算的重疊，減少跨節(jié)點通信的延遲影響。

系統(tǒng)與底層

系統(tǒng)與底層負責操作系統(tǒng)、驅(qū)動程序及基礎(chǔ)運行環(huán)境的構(gòu)建，其核心目標是實現(xiàn)硬件抽象、資源統(tǒng)一管理和高并發(fā)處理能力。這一層的主要任務(wù)是將復雜的硬件拓撲對上層透明化，并提供高效的內(nèi)存管理、設(shè)備通信和并行計算原語。它需要解決異構(gòu)硬件的兼容性問題，確保算力資源的細粒度切分與調(diào)度。

具體而言，系統(tǒng)與底層包含以下核心組件：操作系統(tǒng)與驅(qū)動程序——包括各種Linux發(fā)行版（如Ubuntu、CentOS）以及國產(chǎn)操作系統(tǒng)（如麒麟OS、統(tǒng)信UOS），以及針對AI加速器定制的驅(qū)動程序（CUDA Driver、ROCm等）；并行與通信庫——如MPI（Message Passing Interface）用于跨節(jié)點進程通信，NCCL（NVIDIA Collective Communications Library）專門優(yōu)化其GPU間集合通信；DeepEP是專門針對稀疏激活專家特性設(shè)計的通信庫，僅按需通信，從而提升帶寬和時延性能；異構(gòu)計算支持——實現(xiàn)CPU/GPU/NPU等不同計算單元的協(xié)同工作，通過統(tǒng)一的運行時（如OpenCL、SYCL）屏蔽底層差異。通過這些組件，系統(tǒng)與底層確保了不同硬件之間的無縫協(xié)作和高效資源共享。

硬件層

硬件層作為整個算力軟件生態(tài)系統(tǒng)的基石，旨在為上層提供強大、異構(gòu)且可擴展的計算底座。這一層包括多種類型的硬件設(shè)備，如GPU、NPU、ASIC、FPGA 等。此外，還包括高速互聯(lián)技術(shù)和海量數(shù)據(jù)存儲解決方案，確保了底層硬件能夠高效地支持大規(guī)模并行計算和數(shù)據(jù)處理需求。

計算：單卡算力

算力芯片是驅(qū)動AI大模型與推動產(chǎn)業(yè)發(fā)展的核心戰(zhàn)略資源。今年1月初，英偉達正式推出新一代“Rubin”計算架構(gòu)。相比前代Blackwell，Rubin在計算、互聯(lián)與存儲方面均實現(xiàn)提升，單卡算力方面，其采用Vera CPU與Rubin GPU異構(gòu)集成設(shè)計。

Vera CPU

集成88個定制Olympus核心，支持176線程空間多線程，兼容Armv9.2。

通過NVLink-C2C與Rubin GPU互聯(lián)，共享1.8 TB/s帶寬，為上一代Blackwell 的2倍、是PCIe Gen 6的7倍。

Rubin GPU

首次搭載Transformer引擎，可動態(tài)調(diào)節(jié)各層精度，兼顧吞吐量與關(guān)鍵區(qū)域精度。

推理性能達50 PFLOPS（NVFP4），為Blackwell的5倍，保持精度并提升BF16/FP4性能；訓練性能達35 PFLOPS，為Blackwell的3.5倍。

網(wǎng)絡(luò)互聯(lián)

在AI大規(guī)模集群超節(jié)點概念盛行的當下，計算芯片廠商們的競爭早已不在局限于單顆計算芯片的性能，還包括網(wǎng)絡(luò)互聯(lián)在內(nèi)的系統(tǒng)性解決方案的比拼。在2020年完成對Mellanox的收購后，英偉達快速補齊了AI基礎(chǔ)設(shè)施網(wǎng)絡(luò)拼圖，實現(xiàn)了片間互聯(lián)（人員NVLink+ NVSwitch）和網(wǎng)間互聯(lián)（如ConnectX 系列網(wǎng)卡進階）等全?；ヂ?lián)優(yōu)化方案，形成了極高的技術(shù)壁壘和生態(tài)粘性。

Scale out：

Connect X系列超級網(wǎng)卡升級

英偉達ConnectX網(wǎng)卡是構(gòu)建現(xiàn)代數(shù)據(jù)中心，特別是AI計算集群的底層關(guān)鍵技術(shù)，其通過硬件深度集成RDMA協(xié)議，以及不斷創(chuàng)新的硬件卸載、低延遲通信和超高帶寬技術(shù)，支撐著從傳統(tǒng)數(shù)據(jù)中心到“AI工廠”的演進。

英偉達于近期推出的NVIDIA ConnectX-9 超級網(wǎng)卡，可處理橫向擴展網(wǎng)絡(luò)，每個 GPU 可提供 1.6 TB/s 的 RDMA 帶寬，是上一代帶寬2倍，實現(xiàn)機架外部的通訊。 ConnectX-9 與 Vera CPU 共同設(shè)計，旨在最大限度地提高數(shù)據(jù)路徑效率，并引入完全軟件定義、可編程的加速數(shù)據(jù)路徑，使 AI 實驗室能夠?qū)崿F(xiàn)針對其特定模型架構(gòu)優(yōu)化的自定義數(shù)據(jù)傳輸算法。其計劃搭載于Vera Rubin NVL72機架，但尚未量產(chǎn)出貨。

Scale up：NVLink/NVSwitch

超節(jié)點通過緊密耦合多個GPU，使其協(xié)同如單一計算單元，其核心在于實現(xiàn)極低延遲與超高帶寬的互聯(lián)。英偉達憑借其NVLink協(xié)議實現(xiàn)這一目標，該協(xié)議自2014年首次推出至今已迭代至第六代。在全新Rubin架構(gòu)中集成的NVLink 6.0，使單GPU互聯(lián)帶寬達到3.6 TB/s，為上一代（NVLink 5.0）的2倍，SerDes速率達224 GT/s。

NVLink與NVSwitch協(xié)同構(gòu)成了英偉達大規(guī)模高效計算集群的基礎(chǔ)。最新NVSwitch 6.0的端口速率提升至400 Gbps，采用SerDes技術(shù)保障高速信號傳輸；每顆GPU可實現(xiàn)3.6 TB/s的全互連帶寬。每個Vera Rubin NVL72機架配備9臺該交換機，總縱向擴展帶寬達260 TB/s，支持高效穩(wěn)定地訓練與運行參數(shù)規(guī)模達10萬億級的超大模型。

能耗/液冷/供電

為了滿足人工智能和高性能計算對于更強數(shù)據(jù)中心的需求，越來越多高性能的計算芯片被各大廠商相繼推出。然而高性能通常與高功耗相伴，Blackwell B200 GPU單顆芯片的功耗1000W， GB200 NVL72超節(jié)點功耗超過120kw。而最新推出的Rubin NVL144和規(guī)劃中的Rubin Ultra NVL576，功耗分別突破200kw和1000kw。

液冷方面，隨著高性能服務(wù)器機柜功率普遍突破100kW，傳統(tǒng)風冷方案已無法滿足散熱需求。對此，液冷技術(shù)成為行業(yè)主流解決方案。以英偉達最新發(fā)布的Rubin NVL72系統(tǒng)為例，該平臺實現(xiàn)了全系統(tǒng)級液冷設(shè)計，完全取消傳統(tǒng)風冷組件，并首次采用微通道冷板技術(shù)。優(yōu)化后的冷卻系統(tǒng)流速達60L/min以上，散熱效率為上一代系統(tǒng)的兩倍，同時仍支持高達45°C的進水溫度。

供電方案方面，芯片功耗的急劇上升使電力成為制約AI規(guī)?；渴鸬年P(guān)鍵因素。為突破現(xiàn)有供電方案瓶頸，英偉達率先推動機架電源從54V直流向800V高壓直流（HVDC）升級。該方案采用邊緣固態(tài)變壓器（SST），直接將10kV-20kV交流電轉(zhuǎn)換為800V直流，簡化供電鏈路為“高壓市電→800V DC→芯片低壓”。此舉顯著降低了電阻損耗、釋放了機架內(nèi)部空間、改善了熱管理效果，并具備高度可擴展性，支持單機架供電能力從100kW逐步提升至1MW。

總結(jié)

過去數(shù)十年，無論是硬件還是軟件層級，在進化迭代上更多考慮單點突破帶動性能狂飆。進入2025年之后，在摩爾定律及算法技術(shù)瓶頸等各方面因素推動下，產(chǎn)業(yè)鏈軟硬件環(huán)節(jié)更加考慮系統(tǒng)層級協(xié)同，如行業(yè)也不再一味追求“超級硬件”和“超級集群”，而是強調(diào)從軟件側(cè)、互聯(lián)等各方面更大程度釋放硬件的潛力。2026年，系統(tǒng)的優(yōu)化工作將會更加精細化，與進一步探索基于低成本硬件的極致性價比，其根本驅(qū)動力與最終歸宿，都指向一個務(wù)實的目標：更高效地推動AI技術(shù)走出實驗室與數(shù)據(jù)中心，滲透至千行百業(yè)，并以更低的總體成本創(chuàng)造普惠價值。