超以太網(wǎng)聯(lián)盟（UEC）成立于2023年，由Linux基金會聯(lián)合Meta、微軟、AMD、博通等科技巨頭共同發(fā)起，旨在解決AI/ML和HPC場景下傳統(tǒng)以太網(wǎng)的性能瓶頸。隨著千卡級AI集群成為主流，網(wǎng)絡(luò)擁塞、延遲敏感型流量調(diào)度、大規(guī)模密鑰管理等挑戰(zhàn)日益凸顯。UEC 1.0規(guī)范作為首個正式版本，聚焦傳輸層協(xié)議革新與跨層協(xié)同優(yōu)化，其核心思想是基于以太網(wǎng)架構(gòu)增強(qiáng)而非顛覆，通過分層解耦設(shè)計兼容現(xiàn)有生態(tài)。

超以太網(wǎng)系統(tǒng)架構(gòu)

集群組成邏輯

• 節(jié)點(diǎn)（Node）?：搭載UEC網(wǎng)卡的計算單元
• 網(wǎng)絡(luò)端點(diǎn)（FEP）?：每張網(wǎng)卡支持多個邏輯端點(diǎn)
• 平面（Plane）?：多個FEP通過交換機(jī)互聯(lián)形成的子網(wǎng)
• 雙模協(xié)同：支持并行作業(yè)（如AI訓(xùn)練）與C/S模式（如推理服務(wù)）混合部署

流量調(diào)度的核心機(jī)制

• 負(fù)載均衡：基于ECMP多路徑路由
• 擁塞感知：通過UET傳輸層的CMS子層管理熵值
• 差異化服務(wù)：利用IP報頭DSCP字段實(shí)現(xiàn)流量類別映射，保障高優(yōu)先級流量（如All-Reduce）

流量類別映射關(guān)系如下圖所示，實(shí)現(xiàn)從應(yīng)用層請求到鏈路層調(diào)度的跨層協(xié)同：

協(xié)議棧演進(jìn)與關(guān)鍵技術(shù)

軟件層：開放生態(tài)兼容

超以太網(wǎng)軟件層的一個關(guān)鍵構(gòu)建模塊是開放架構(gòu)接口 (Open Fabric Interfaces)，也稱 LibFabric。

Libfabric 定義了一套面向高性能并行和分布式應(yīng)用程序的通信 API，其主要目標(biāo)是提供一個統(tǒng)一的接口，讓開發(fā)者能夠方便地構(gòu)建應(yīng)用，而無需關(guān)心底層具體的傳輸協(xié)議和硬件細(xì)節(jié)。現(xiàn)有的 LibFabric 已經(jīng)可對接 AI 或 HPC 集群所需的各類高性能通信庫，例如 NCCL（來自 Nvidia）、RCCL（來自 AMD）、MPI（原始超級計算并行通信）、Open SHMEM（共享內(nèi)存）和 UD（不可靠數(shù)據(jù)報）。

UEC 1.0 規(guī)范中確定的 Libfabric API 基線版本是 v2.0 ，并將與 Libfabric 社區(qū)保持合作，允許集群中的Endpoint（網(wǎng)卡）與 AI 框架和 HPC 工作負(fù)載進(jìn)行交互；此外一些規(guī)范內(nèi)的可選功能還需要交換機(jī)支持（例如數(shù)據(jù)包修剪），為此，網(wǎng)絡(luò)操作系統(tǒng)（NOS）需要對應(yīng)新增擴(kuò)展。

傳輸層（UET）四維革新

1. 語義子層（SES）?
SES子層旨在通過 Libfabric 映射集成到廣泛部署的 A I框架和 HPC 庫中，是 UET 和 Libfabric 之間的主要接口。它使用 Libfabric 的應(yīng)用程序通過網(wǎng)絡(luò)交換消息，并使用流行的零拷貝技術(shù)將這些消息直接放入彼此的緩沖存儲器中。
2. 傳輸協(xié)議矩陣（PDS）?
通過UET分層模型和相關(guān)庫，應(yīng)用程序可以選擇最適合其需求的傳輸協(xié)議功能。PDS子層定義了一種具有多種操作模式的協(xié)議，提供可靠無序RUD、可靠有序（ROD）、冪等可靠無序（RUDI）、不可靠無序（UUD）幾種組合模式的數(shù)據(jù)包傳輸服務(wù)。
3. 擁塞控制（CMS）?
UET 定義了一種端到端的擁塞管理解決方案 UET-CC（UET Congestion Control），用于解決有損以太網(wǎng)中的數(shù)據(jù)包緩沖區(qū)擁塞問題。其目標(biāo)是實(shí)現(xiàn)較高的網(wǎng)絡(luò)效率，減少數(shù)據(jù)包丟失，并確保競爭流之間的合理公平性。
4. 傳輸安全子層（TSS）：
UET采用了新的密鑰管理機(jī)制，允許在參與作業(yè)的大量計算節(jié)點(diǎn)之間高效共享密鑰。推薦的加密算法是后量子（post-quantum） DES 密碼。

網(wǎng)絡(luò)層：擁塞應(yīng)急機(jī)制

超以太網(wǎng)的網(wǎng)絡(luò)層功能規(guī)范是可選模塊，沒有對網(wǎng)絡(luò)層進(jìn)行任何更改（依然是運(yùn)行IP網(wǎng)絡(luò)），該部分主要討論的是數(shù)據(jù)包修剪（Packet Trimming）。
網(wǎng)絡(luò)交換機(jī)在繁忙的端口轉(zhuǎn)發(fā)數(shù)據(jù)包之前，會將其存儲在緩沖區(qū)中，且受到芯片面積的限制。如果緩沖區(qū)無法容納到達(dá)的數(shù)據(jù)包，交換機(jī)要么丟棄數(shù)據(jù)包，要么向上游端口發(fā)出暫停流量信號。眾所周知，這兩種解決方案都存在性能問題。

數(shù)據(jù)包修剪功能即是超以太網(wǎng)定義的一種應(yīng)對交換機(jī)緩沖區(qū)不足的機(jī)制，是擁塞通知的一種附加機(jī)制，用于在網(wǎng)絡(luò)過載時減少數(shù)據(jù)負(fù)載。

簡言之是允許交換機(jī)截斷有爭議的數(shù)據(jù)包，修改截斷數(shù)據(jù)包的 DSCP 字段，并將截斷數(shù)據(jù)包作為擁塞信號轉(zhuǎn)發(fā)到目的地。數(shù)據(jù)包修剪提供的擁塞信息比ECN多得多。對于交換機(jī)來說，數(shù)據(jù)包修剪是可選的，而對于 FEP 來說，接收修剪后的數(shù)據(jù)包則是必須的。

修剪后的數(shù)據(jù)包通常由上層協(xié)議消耗，以確?？焖僦貍鱽G失的數(shù)據(jù)包。因此，在啟用修剪功能時，這些協(xié)議必須具有修剪感知能力，并且必須能夠根據(jù)收到的修剪數(shù)據(jù)包識別出原始數(shù)據(jù)包。

所以，其中有個關(guān)鍵的 MIN_TRIM_SIZE 必須配置為一個合適的值，以確保在修剪后不影響下一步操作。這個值需要交換機(jī)根據(jù)每個數(shù)據(jù)包的封裝類型動態(tài)地確定，設(shè)置為足夠保留所有相關(guān)傳輸頭所需的大小。

鏈路層：性能增強(qiáng)選項(xiàng)

超以太網(wǎng)規(guī)定的鏈路層旨在通過鏈路級的數(shù)據(jù)包替換和交換機(jī)之間的流量控制來提升整體性能鏈路層，這些都是可選功能，并且距離完全支持這些功能的產(chǎn)品得以商用還需要較長的時間。
1. 鏈路層重試（LLR）
LLR 機(jī)制基于幀。該機(jī)制下，從 MAC 客戶端發(fā)出的的每個幀都要進(jìn)行評估。如果 MAC 客戶端不希望對幀進(jìn)行 LLR，或該幀被歸類為不符合 LLR 條件，那么該幀將作為標(biāo)準(zhǔn)以太網(wǎng)幀發(fā)送。如果幀符合 LLR 條件，則會被分配一個序列號，并存儲在重傳緩沖區(qū)中，以便在對端未收到幀時進(jìn)行快速重傳。
2. 基于Credit的流量控制（CBFC）
UE 傳輸（UET）層的定義是利用從源端重傳數(shù)據(jù)包，支持無序到達(dá)和擁塞控制等組件，來提供有損網(wǎng)絡(luò)下的端到端可靠數(shù)據(jù)包傳送（而逐跳鏈路是盡力而為的，允許因擁塞而丟棄數(shù)據(jù)包)。在許多情況下，按優(yōu)先級進(jìn)行鏈路層的無損數(shù)據(jù)包傳送也很有用，例如小型網(wǎng)絡(luò)和較低負(fù)載的場景由此可以簡化網(wǎng)絡(luò)管理和端側(cè)配置及其緩沖區(qū)要求。
CBFC 是在逐跳基礎(chǔ)上實(shí)現(xiàn)無損數(shù)據(jù)包傳輸?shù)囊环N方法，可以消除端到端重傳的可能以及與之相關(guān)的延遲，其大致機(jī)制是：發(fā)送方以credit為單位跟蹤接收方的可用緩沖空間，只有當(dāng)接收方有足夠的緩沖空間時，發(fā)送方的數(shù)據(jù)包調(diào)度器才可以從無損 VC 隊列中調(diào)度數(shù)據(jù)包進(jìn)行傳輸。

3. 超以太網(wǎng)鏈路協(xié)商
該規(guī)范提倡使用描述所需和可選功能的“配置文件”，從而在所有網(wǎng)絡(luò)實(shí)體之間檢測、發(fā)現(xiàn)和達(dá)成共識，以便與配置文件支持的功能進(jìn)行互操作。

生態(tài)落地實(shí)踐

作為 UEC 成員單位，星融元提供的超低時延數(shù)據(jù)中心交換機(jī)（CX-N系列）采用高性能的25G-800G 端口速率規(guī)格網(wǎng)絡(luò)硬件，搭載為生產(chǎn)環(huán)境深度調(diào)優(yōu)的企業(yè)級SONiC發(fā)行版和多項(xiàng) EasyRoCE 特性，提供靈活、廣大的升級空間，未來將平滑演進(jìn)與新一代以太網(wǎng)標(biāo)準(zhǔn)保持同步。