全閃存時代背景下，傳統(tǒng)的FC（Fibre Channel，網(wǎng)狀通道）存儲網(wǎng)絡已經(jīng)無法滿足全閃存數(shù)據(jù)中心的要求，NVMe（Non-Volatile Memory express，非易失性內(nèi)存主機控制器接口規(guī)范）存儲協(xié)議的出現(xiàn)極大提升了存儲系統(tǒng)內(nèi)部的存儲吞吐性能、降低了傳輸時延，NoF（NVMe over Fabric）存儲網(wǎng)絡應運而生。在多種Fabric技術中，NVMe over RoCE（RDMA over Converged Ethernet）被廣大存儲廠商所接受，成為業(yè)界NoF的主流。華為推出的NoF+存儲網(wǎng)絡解決方案，相較于標準NoF方案，在性能、可靠性、易用性上均實現(xiàn)了顛覆性改進，是全閃存時代的最佳選擇。

為什么需要NoF+？

隨著智能時代的到來，各種業(yè)務對海量數(shù)據(jù)的存儲和讀寫需求，催生了新的存儲介質(zhì)（SSD）和存儲協(xié)議（NVMe），存儲性能提升了百倍。存儲節(jié)點不是獨立存在的，多個存儲節(jié)點之間通過存儲網(wǎng)絡互連。存儲性能提升后，需要一個更快、更高質(zhì)量的存儲網(wǎng)絡與之匹配，這張網(wǎng)絡就是NVMe over Fabric，即NoF。

NoF將NVMe協(xié)議應用到服務器主機前端，作為存儲陣列與前端主機連接的通道，可端到端取代SAN網(wǎng)絡中的SCSI協(xié)議，構(gòu)建全以太的存儲SAN網(wǎng)絡，如圖1-2所示。

NoF的產(chǎn)生背景

NVMe over Fabric中的“Fabric”，是NVMe的承載網(wǎng)絡，這個網(wǎng)絡可以是RoCE、FC或TCP。

NVMe over FC協(xié)議標準為FC-NVMe，F(xiàn)C-NVMe和FC-SCSI同樣都基于FCP，IO交互基于Exchange。FC-NVMe基于傳統(tǒng)的FC網(wǎng)絡，通過升級主機驅(qū)動和交換機支持，F(xiàn)C-SCSI和FC-NVMe能同時運行在同一個FC網(wǎng)絡中。FC-NVMe能最大化繼承傳統(tǒng)的FC網(wǎng)絡，復用網(wǎng)絡基礎設施，基于FC物理網(wǎng)絡發(fā)揮NVMe新協(xié)議的優(yōu)勢。

NVMe over TCP基于現(xiàn)有的IP網(wǎng)絡，采用TCP協(xié)議傳輸NVMe，在網(wǎng)絡基礎設施不變的情況下實現(xiàn)了端到端NVMe。雖然NVME over TCP網(wǎng)絡性能弱于FC和RoCE，但整體性能通過NVMe得到提升，對比iSCSI仍有大幅度的提升。而且NVME over TCP對網(wǎng)絡的要求比較低，具有更強大的兼容性，不需要單獨建設無損網(wǎng)絡，傳統(tǒng)以太網(wǎng)即可支持，因此在不追求高性能的情況下，NVMe over TCP將是未來市場的普遍選擇。

NVMe over RoCE是NVMe over RDMA的一種，RDMA是承載NoF的原生網(wǎng)絡協(xié)議，RDMA協(xié)議除了RoCE外還包括IB（InfiniBand）和iWARP（Internet Wide Area RDMA Protocol）。其中，基于以太網(wǎng)的RoCE目前已成為RDMA的主流網(wǎng)絡承載方式。NVMe over RDMA協(xié)議比較簡單，直接把NVMe的IO隊列映射到RDMA QP（Queue Pair）連接，通過RDMA SEND，RDMA WRITE，RDMA READ三個語義實現(xiàn)IO交互。NVMe over RoCE基于融合以太網(wǎng)的RDMA技術承載NVMe協(xié)議。

三種方案相比較，基于以太網(wǎng)的RoCE比FC性能更高（更高的帶寬、更低的時延），同時兼具TCP的優(yōu)勢（全以太化、全IP化），因此NVMe over RoCE是NoF最優(yōu)的承載網(wǎng)絡方案，也已成為業(yè)界NoF的主流技術。

基于以太網(wǎng)的RoCE在存儲性能、帶寬方面比FC有顯著優(yōu)勢，但替換FC、聯(lián)接全閃存，標準的NoF（NVMe over RoCE）還需在3個方面加強完善：

網(wǎng)絡性能：零丟包

網(wǎng)絡零丟包是存儲網(wǎng)絡的基本需求，傳統(tǒng)以太網(wǎng)絡擁塞易丟包。

可靠性：秒級主備切換

存儲為了可靠性，會構(gòu)建多個網(wǎng)絡平面，切換時間需<1s。

易用性：即插即用

FC存儲網(wǎng)絡場景單一、配置簡單，當前以太網(wǎng)絡還需針對存儲場景適應性改進。

NoF+與NoF比有哪些優(yōu)勢？

基于當下業(yè)界主流的標準NoF方案，華為依靠在網(wǎng)絡和存儲領域的深厚積累，進一步從網(wǎng)絡性能、可靠性和易用性這三點都進行提升，基于智能無損網(wǎng)絡面向集中式存儲場景提出了NoF+解決方案，將數(shù)據(jù)中心存儲網(wǎng)絡進一步推向更廣闊的發(fā)展空間。

網(wǎng)絡性能增強：

華為NoF+方案改變了傳統(tǒng)以太網(wǎng)靜態(tài)水線方式，對網(wǎng)絡預測性能力進行專項優(yōu)化，通過樣本計算，針對特定場景，基于獨創(chuàng)的iLossless智能無損算法進行精準的控制，從而預判業(yè)務對網(wǎng)絡的訴求，實時感知網(wǎng)絡流量模型，動態(tài)調(diào)整水線，可實現(xiàn)存儲網(wǎng)絡高吞吐下的零丟包，進一步提升性能。

可靠性增強：

保障業(yè)務系統(tǒng)可靠是存儲的根基，比如存儲的秒級切換功能就是可靠性的關鍵保障之一，傳統(tǒng)以太網(wǎng)缺乏故障主動發(fā)現(xiàn)和通知機制，發(fā)生故障時鏈路切換時間長，造成存儲業(yè)務中斷。華為NoF+方案推出智能感知特性，實現(xiàn)了從事后被動響應到主動通知、提前識別擁塞和故障。當一個節(jié)點出現(xiàn)故障，業(yè)務會以亞秒級響應速度切換，在高性能運行的前提下，也能維持系統(tǒng)的穩(wěn)定可靠。

易用性增強：

存儲場景下傳統(tǒng)以太網(wǎng)需要逐點手工配置，操作復雜且易出錯。華為NoF+方案實現(xiàn)存儲和交換機的智能聯(lián)動，支持存儲設備的即插即用和一鍵式擴容。業(yè)務變更只需在單點配置，即可自動同步到全網(wǎng)，業(yè)務發(fā)放效率顯著提升，增強了在未來建設時的易用性。

華為NoF+方案是業(yè)界唯一零丟包的以太網(wǎng)，基于全閃存數(shù)據(jù)中心和超融合以太網(wǎng)絡，通過最新一代OceanStor Dorado全閃存存儲系統(tǒng)和CloudEngine數(shù)據(jù)中心存儲網(wǎng)絡交換機的聯(lián)合創(chuàng)新，針對傳統(tǒng)專用存儲網(wǎng)絡，在性能、可靠性、易用性上均實現(xiàn)了顛覆性改進，是全閃存時代存儲網(wǎng)絡的的最佳選擇。

NoF+的網(wǎng)絡架構(gòu)

在數(shù)據(jù)中心常規(guī)組網(wǎng)里面，存儲網(wǎng)絡只是其中的一部分，集中式存儲是一個獨立的網(wǎng)絡，與業(yè)務網(wǎng)絡在物理上隔離，如圖1-3所示。

數(shù)據(jù)中心集中式存儲網(wǎng)絡架構(gòu)圖

業(yè)務網(wǎng)絡：是指業(yè)務服務器對外提供服務通信網(wǎng)絡，該網(wǎng)絡與外部網(wǎng)絡互連互通。

計算網(wǎng)絡：是指運行OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）數(shù)據(jù)庫的后臺服務計算節(jié)點所組成的物理網(wǎng)絡，使用不同的網(wǎng)卡連接業(yè)務網(wǎng)絡和存儲網(wǎng)絡，實現(xiàn)業(yè)務網(wǎng)絡和存儲網(wǎng)絡之間物理隔離，避免相互影響。

存儲網(wǎng)絡：是指計算服務器訪問存儲數(shù)據(jù)時使用通信網(wǎng)絡，該網(wǎng)絡一般是獨立的物理網(wǎng)絡。為了保證數(shù)據(jù)高可靠，存儲網(wǎng)絡支持DC級容災，支持同城雙活存儲網(wǎng)絡，確保業(yè)務系統(tǒng)發(fā)生設備故障、甚至單數(shù)據(jù)中心故障時，業(yè)務無感知自動切換，實現(xiàn)RPO（Recovery Point Objective）=0，RTO（Recovery Time Objective）≈0。

數(shù)據(jù)中心為了容災考慮，需要實現(xiàn)多數(shù)據(jù)中心互通。同城兩個數(shù)據(jù)中心互為備份，且都處于運行狀態(tài)。當一個數(shù)據(jù)中心發(fā)生設備故障，甚至數(shù)據(jù)中心整體故障時，業(yè)務自動切換到另一個數(shù)據(jù)中心，解決了傳統(tǒng)災備中心不能承載業(yè)務和業(yè)務無法自動切換的問題。提供給用戶高級別的數(shù)據(jù)可靠性以及業(yè)務連續(xù)性的同時，提高存儲系統(tǒng)的資源利用率。

在集中式存儲下，DC間同城互聯(lián)的一般組網(wǎng)如圖1-4所示。為了實現(xiàn)同城讀寫支持NVME over RoCE，需要實現(xiàn)同城無損網(wǎng)絡，即需要一套跨DC的無損網(wǎng)絡，每個DC部署兩臺支持智能長距無損的DCILeaf，中間通過波分設備或者裸光纖直連實現(xiàn)雙平面，實現(xiàn)端到端的RoCE無損網(wǎng)絡。

DC間同城互聯(lián)一般組網(wǎng)示意圖

NoF+的關鍵技術

流量控制

流量控制是端到端的，需要做的是抑制發(fā)送端的發(fā)送速率，以便接收端來得及接收，防止設備端口在擁塞的情況下出現(xiàn)丟包。華為提供了PFC死鎖檢測和死鎖預防，提前預防PFC死鎖的發(fā)生。

PFC（Priority-based Flow Control，基于優(yōu)先級的流量控制）：是目前應用最廣泛的流量控制技術。對于PFC控制的隊列，當隊列在下游設備發(fā)生擁塞時，上游設備會停止發(fā)送該隊列的流量，從而實現(xiàn)報文的零丟包傳輸。

PFC死鎖檢測：通過對PFC死鎖進行全程監(jiān)控，當死鎖檢測周期內(nèi)持續(xù)收到PFC反壓幀時，設備可以通過不響應反壓幀的方式去解除PFC死鎖現(xiàn)象。

PFC死鎖預防：通過識別易造成PFC死鎖的業(yè)務流，修改隊列優(yōu)先級，改變PFC反壓的路徑，避免PFC反壓幀形成環(huán)路，從而預防PFC死鎖的發(fā)生。

擁塞控制

擁塞控制是指對進入網(wǎng)絡的數(shù)據(jù)總量進行控制，使網(wǎng)絡流量保持在可接受水平的一種控制方法。擁塞控制與流量控制的區(qū)別在于，流量控制作用于接收者，而擁塞控制作用于網(wǎng)絡，往往需要轉(zhuǎn)發(fā)設備、流量發(fā)送端、流量接收端協(xié)同作用，并結(jié)合網(wǎng)絡中的擁塞反饋機制來調(diào)節(jié)整網(wǎng)流量才能起到緩解擁塞、解除擁塞的效果。

ECN（Explicit Congestion Notification，顯式擁塞通知）：是指流量接收端感知到網(wǎng)絡上發(fā)生擁塞后，通過協(xié)議報文通知流量發(fā)送端，使得流量發(fā)送端降低報文的發(fā)送速率，從而從早期避免擁塞而導致的丟包，實現(xiàn)網(wǎng)絡性能的最大利用。

AI ECN（Artificial Intelligence Explicit Congestion Notification）：是指通過iLossless智能無損算法，根據(jù)現(xiàn)網(wǎng)流量模型進行AI訓練，以對網(wǎng)絡流量變化進行預測，及時推理出最優(yōu)的ECN門限，并且支持根據(jù)現(xiàn)網(wǎng)流量變化實時調(diào)整ECN門限，進行無損隊列緩存的精確管控，保障整網(wǎng)的最優(yōu)性能。同時，AI ECN功能與隊列調(diào)度技術配合使用時，可以實現(xiàn)網(wǎng)絡中TCP流量與RoCEv2流量的混合調(diào)度，保障RoCEv2流量無損傳輸?shù)耐瑫r實現(xiàn)低時延和高吞吐，讓無損業(yè)務達到最優(yōu)性能。

NPCC（Network-based Proactive Congestion Control）：是一種以網(wǎng)絡設備為核心的主動擁塞控制技術，可以在網(wǎng)絡設備上智能識別設備端口的擁塞狀態(tài)，主動發(fā)送CNP（Congestion Notification Packets，擁塞通知報文）報文，準確控制服務器發(fā)送RoCEv2報文的速率，既可以確保擁塞時的及時降速，又可以避免擁塞已經(jīng)緩解時的過度降速，最終確保數(shù)據(jù)中心互聯(lián)這種長距場景中RoCEv2業(yè)務的低時延和高吞吐。

iNOF

iNOF（Intelligent Lossless NVMe Over Fabric，智能無損存儲網(wǎng)絡）是指通過對接入主機的快速管控，將智能無損網(wǎng)絡應用到存儲系統(tǒng)，實現(xiàn)計算和存儲網(wǎng)絡融合的技術。

存儲系統(tǒng)為了存儲大量的數(shù)據(jù)，往往需要管理數(shù)量龐大的主機，并且存在新主機陸續(xù)接入網(wǎng)絡設備的情況。為了讓智能無損網(wǎng)絡技術更好的服務于存儲系統(tǒng)，提出了iNOF技術，通過對接入主機的快速管控，可以第一時間獲知新接入的主機，智能的調(diào)整智能無損網(wǎng)絡的相關配置，并且iNOF技術支持將主機信息通告給存儲系統(tǒng)，可以協(xié)助存儲系統(tǒng)管理主機。

審核編輯：湯梓紅