電子發(fā)燒友網報道（文 / 吳子鵬）近日，GitCode 網站上更新了一份題為《昇騰 AI 算力集群基礎設施高可用技術系列報告》的文件。報告顯示，華為團隊通過構建極致可靠性的 CloudMatrix 超節(jié)點，有效降低了故障概率。在訓練業(yè)務方面，實現分鐘級 RTO（恢復時間目標）；在高頻 HBM 場景下，故障恢復時間縮短至 30 秒級，成功將萬卡級訓練集群可用度提升至 95% 以上。

此外，該文件還涵蓋硬件管理、故障感知與診斷、超節(jié)點系統(tǒng)等相關創(chuàng)新內容，帶來了諸多顯著成果：萬卡集群可用度達到 98%，集群訓推最快實現秒級快速恢復，集群線性度超過 95%，并建立起包含千種故障模式的數據庫，實現分鐘級故障診斷。值得注意的是，98% 的萬卡集群可用度在目前已公開的數據中處于領先水平。

AI 算力集群穩(wěn)定性至關重要

萬卡集群是由超過一萬張加速卡（如 GPU、TPU 或專用 AI 芯片）組成的高性能計算系統(tǒng)，主要用于加速人工智能模型的訓練和推理過程。隨著 AI 大模型參數體量不斷攀升，萬卡集群已逐漸成為行業(yè)標配，甚至可以說是最低配置。

這一趨勢推動了算力規(guī)模的快速增長。根據 IDC 的報告，2024 年全球智能算力規(guī)模達 725.3EFLOPS（FP16），同比激增 74.1%。預計到 2025 年，中國智能算力規(guī)模將突破 1037.3EFLOPS，相比 2023 年實現翻倍增長。

然而，萬卡集群在實際應用中面臨著三大顯著挑戰(zhàn)：其一，穩(wěn)定性直接影響 “算力利用率”，在大規(guī)模訓練過程中，節(jié)點故障可能導致梯度同步中斷、模型參數回滾，甚至需要重新啟動訓練任務；其二，動態(tài)實時推理系統(tǒng)任務呈現兩極分化的特點，推理階段硬件需同時滿足高吞吐與低延遲的要求，并且在不同場景下都要有穩(wěn)定表現；其三，實現復雜萬卡集群的長期穩(wěn)定運行難度巨大，萬卡集群包含數萬顆芯片、數十萬條光鏈路、數千臺交換機，僅光模塊故障率就會隨著規(guī)模擴大呈指數增長，傳統(tǒng)單機冗余方案在萬卡規(guī)模下因 “故障定位難、恢復時間長” 而失效。

在這些顯性挑戰(zhàn)背后，還隱藏著其他問題。例如，在長穩(wěn)運行方面，除了硬件設備的穩(wěn)定性，還需考慮軟件調度的 “蝴蝶效應”。在超大規(guī)模訓練中，單個節(jié)點的 HBM 內存錯誤可能引發(fā)梯度同步失敗，進而破壞整個集群的參數一致性，若調度系統(tǒng)無法快速隔離故障節(jié)點，可能引發(fā) “級聯(lián)失效”；同時，網絡拓撲的脆弱性也不容忽視，萬卡集群通常采用 Fat-Tree 或 3D Torus 拓撲，核心交換機負載極高，一旦發(fā)生擁塞或鏈路閃斷，會導致全局通信延遲大幅上升。

可用性（Availability）與穩(wěn)定性一樣，也是衡量超大規(guī)模集群性能的核心指標，它是穩(wěn)定性的量化體現，指集群在規(guī)定時間內正常運行、滿足計算需求的比例，通常以百分比表示。據測算，萬卡集群的可用性每提升 1%，相當于每年節(jié)省數千萬算力成本，這也是頭部 AI 企業(yè)將可用性視為 “算力投資回報率” 核心指標的原因。

提升萬卡集群可用性

如前文所述，萬卡級集群的穩(wěn)定性和可用性已不再僅僅是技術指標，而是決定 AI 產業(yè)競爭力的關鍵要素。華為團隊通過構建極致可靠性的 CloudMatrix 超節(jié)點，大幅降低故障概率，實現訓練業(yè)務分鐘級 RTO 以及高頻 HBM 場景 30 秒級故障恢復。

為解決萬卡級別 AI 集群平均每天會出現一次甚至多次故障的問題，華為團隊提出基于系統(tǒng)工程的硬件故障管理技術，建立起集群全系統(tǒng)可靠性分析模型。CloudMatrix 384 超節(jié)點計算柜和總線設備柜關鍵部件均采用冗余設計：在計算柜方面，整柜電源模塊冗余，風扇采用 N+1 冗余，并配備 2N 和 N+R 等供電系統(tǒng)；總線設備柜的交換機采用雙電源供電設計，風扇同樣采用 N+1 冗余設計。此外，還引入了 NPU HBM 多級 RAS 技術以及光模塊本體高可靠技術，使 CloudMatrix 超節(jié)點具備萬卡集群連續(xù)數天無故障運行的硬件高可靠能力，系統(tǒng)可用度超過 95%。

CloudMatrix 超節(jié)點，圖源：華為技術報告

針對萬卡集群規(guī)模大、故障頻發(fā)，軟硬技術棧復雜，涉及數據多、傳播快、依賴復雜等問題，華為團隊提出大規(guī)模集群在線故障感知與診斷技術。該方案提供全棧監(jiān)控，FlowScope 利用自研可編程設備實現準 TB 級流量預處理，能夠在域內快速定位故障。目前該技術已在華為云產品技術棧落地，支持網絡故障 3 分鐘感知、5 分鐘定界，網絡故障診斷準確率達 95%。

網絡域故障定位，圖源：華為技術報告

為打造緊耦合服務器模式，華為團隊提出極致可靠性的 CloudMatrix 超節(jié)點系統(tǒng)技術。單個超節(jié)點由 48 臺服務器組成，每臺服務器包含 4 顆 CPU 及 8 顆 NPU。每臺服務器的接口數量為：管存 / VPC 平面 2200GE；參數面 8400GE；超節(jié)點平面 56×400G HCCS。一個機柜最大支持 4 個 8 卡節(jié)點，管存面 / 參數面交換機以及超節(jié)點 L2 層交換機外置，支持靈活組網。該超節(jié)點的設計目標是實現光模塊閃斷的故障率容忍度超過 99%；將高頻的 HBM 多比特 ECC 故障恢復時間縮短至 1 分鐘，使因 HBM 故障造成的用戶算力損失下降 5%。通過 “系統(tǒng)層容錯”“業(yè)務層容錯” 以及后續(xù) “運維層容錯” 方案，成功實現了這一目標。

CloudMatrix 超節(jié)點系統(tǒng)技術，圖源：華為技術報告

為做到千億稀疏模型訓練線性度優(yōu)化，華為團隊提出 4 項關鍵技術，包括拓撲感知的協(xié)同編排技術 TACO、網絡級網存算融合技術 NSF、拓撲感知的層次化集合通信技術 NB、無侵入通信跨層測量與診斷技術 AICT。實驗及理論分析結果顯示，Pangu Ultra 135B 稠密、Pangu Ultra MoE 718B 稀疏模型訓練線性度超過 95%。具體來看，訓練 Pangu Ultra 135B 稠密模型時，4K 卡 Atlas 800T A2 集群相比 256 卡基線，線性度為 96%；訓練 Pangu Ultra MoE 718B 稀疏模型時，8K 卡 A2 集群相比 512 卡基線，線性度為 95.05%；4K 卡 CloudMatrix 集群相比 256 卡基線，線性度為 96.48%。

線性度問題分析，圖源：華為技術報告

針對大 EP 推理架構的可靠性難題，華為團隊提出千億 MOE 分布式推理分鐘級恢復技術，通過基于請求切流實例間恢復、基于實例 / Pod 重調度與進程原地恢復的實例內有感恢復、基于 token 級重試和減卡容錯的實例內無損恢復的三級容錯方案，從芯片驅動層、框架層、平臺層協(xié)同發(fā)力，構筑端到端可靠性體系。面向未來，華為團隊還將持續(xù)研發(fā)減卡彈性恢復技術和基于快照進程的進程初始化加速技術。

千億 MOE 分布式推理分鐘級恢復技術，圖源：華為技術報告

結語

在 AI 算力集群邁向萬卡規(guī)模的產業(yè)變革進程中，華為昇騰憑借 CloudMatrix 超節(jié)點技術體系，通過硬件冗余設計、全棧故障感知、系統(tǒng)層容錯等創(chuàng)新舉措，將萬卡集群可用度提升至行業(yè)領先的 95% 以上，實現高頻 HBM 故障 30 秒級恢復、訓練線性度超 95% 的突破，切實解決了大規(guī)模算力集群穩(wěn)定性與可用性的核心難題。這不僅為 AI 大模型訓練與推理構建了堅實的算力底座，更以 “每提升 1% 可用度節(jié)省數千萬成本” 的實際效益，重新定義了算力投資回報率的行業(yè)標準。