從云和互聯(lián)網(wǎng)的業(yè)務場景來看，其存儲域主要采用基于服務器部署分布式存儲服務的融合方式，它面臨如下挑戰(zhàn) ： 1．數(shù)據(jù)保存周期與服務器更新周期不匹配。大數(shù)據(jù)、人工智能等新興業(yè)務催生出海量數(shù)據(jù)，大量數(shù)據(jù)需按照其生命周期策略（例如 8~10 年）進行保存。 2．性能可靠與資源利用率難以兼得。支撐業(yè)務的分布式存儲系統(tǒng)大致可以分為性能型存儲和容量型存儲，它們均無法同時實現(xiàn)高性能可靠與高資源利用率。具體地，性能型存儲主要運行數(shù)據(jù)庫、虛擬化等關鍵業(yè)務，通常采用三副本或兩副本并配合獨立冗余磁盤陣列卡模式 ；這類方案雖兼顧了性能和可靠性，但其大約 30% 的空間利用率卻是對存儲資源的極大浪費。 容量型系統(tǒng)為了提升空間利用率，采用糾刪碼（Erasure Code，EC）方式，然而，EC計算過程中的讀寫、重構等會消耗大量網(wǎng)絡資源，導致系統(tǒng)重構效率低下、重構時間長，給系統(tǒng)可靠性帶來風險（如圖 1 所示）。 3．新型分布式應用的極簡高效共享存儲訴求。 以無服務器（serverless）應用為代表的新型分布式應用在近些年涌現(xiàn)，這類應用從無狀態(tài)化向有狀態(tài)化擴展，比如數(shù)據(jù)庫、消息總線等組件紛紛容器化，數(shù)據(jù)共享訪問的訴求不斷增多。與此同時，人工智能和機器學習等應用需要大量異構算力協(xié)同，甚至產(chǎn)生共享內存訪問的訴求，它們關注高帶寬、低時延的訪問能力，僅需要輕量、便捷的共享存儲系統(tǒng)即可，不需要搭載具有復雜企業(yè)特性的傳統(tǒng)存儲。 4．數(shù)據(jù)中心稅導致數(shù)據(jù)密集型應用效率低下。 面向數(shù)據(jù)密集型場景，在基于以 CPU 為中心的服務器架構下，應用為獲取數(shù)據(jù)所繳納的“數(shù)據(jù)中心稅”（datacenter tax）日益加重。例如，服務器內的 CPU為處理網(wǎng)絡及存儲 IO 請求，需要消耗高達 30% 的算力 [3] ；此外，由于通用 CPU 并不擅長數(shù)據(jù)處理運算，導致其能效比低下。 傳統(tǒng)存算分離架構將算力資源和存儲資源（機械硬盤、固態(tài)硬盤等）分離至彼此獨立的計算域和存儲域，并通過以太網(wǎng)或專用存儲網(wǎng)絡（例如光纖通道）將二者互連，實現(xiàn)了存儲資源的靈活擴展和高效共享（如圖 2 左側所示）；該架構主要為復雜的傳統(tǒng)企業(yè)特性設計，難以應對上述挑戰(zhàn)，為了讓云和互聯(lián)網(wǎng)存儲域服務兼顧資源利用率、可靠性、性能、效率等眾多訴求，亟須基于新型軟硬件技術構建新型存算分離架構。

一、硬件技術趨勢 面對數(shù)據(jù)中心在容量利用率、存力效率等方面的挑戰(zhàn)，近年來，專用數(shù)據(jù)處理器、新型網(wǎng)絡等技術快速發(fā)展，為數(shù)據(jù)中心基礎設施的重構提供了技術基礎。 首先，為取代服務器本地盤，很多廠商推出以太網(wǎng)閃存簇（Ethernet Bunch of Flash，EBOF）高性能盤框（例如，近期陸續(xù)發(fā)布的西數(shù) OpenFlex、Vast Data Ceres 高性能盤框等）。這類盤框不再具有復雜企業(yè)特性，而是注重采用新型的數(shù)據(jù)訪問標準，比如支持 NoF（NVM Express over Fabric）等接口，以提供高性能存儲實現(xiàn)對本地盤的替換。NoF 協(xié)議由 NVM Express （NVMe）標準組織在 2016 年發(fā)布，提供了 NVMe 命令到多種網(wǎng)絡傳輸協(xié)議的映射，使一臺計算機能夠訪問另一臺計算機的塊存儲設備。同時，一些研究機構進一步探索遠程內存池化技術，例如，韓國 KAIST 實驗室實現(xiàn)了基于 FPGA的 CXL（Compute Express Link）互連協(xié)議；CXL為英特爾于 2019 年 3 月在 Interconnect Day 2019 上推出的一種開放性互聯(lián)協(xié)議，能夠讓 CPU 與 GPU、FPGA 或其他加速器之間實現(xiàn)高速高效互聯(lián)，從而滿足高性能異構計算的要求。 其次，業(yè)界涌現(xiàn)出越來越多的數(shù)據(jù)處理單元（Data Processing Unit，DPU）和基礎設施處理單元（Infrastructure Processing Unit，IPU）專用芯片，在數(shù)據(jù)流處理路徑上取代通用處理器，提升算力能效比。同時，基于可編程交換機的網(wǎng)存協(xié)同也是研究熱點，例如在網(wǎng)數(shù)據(jù)緩存的 NetCache、KV-Direct，在網(wǎng)數(shù)據(jù)協(xié)調的 NetLock、SwitchTx，在網(wǎng)數(shù)據(jù)聚合的 SwitchML、NetEC，在網(wǎng)數(shù)據(jù)調度的 FLAIR、AlNiCo等。 最后，數(shù)據(jù)訪問網(wǎng)絡標準也在持續(xù)增強，比如CXL 協(xié)議新版本加強了內存池化方向的技術特性，同時吸收了 Gen-Z（由 AMD、ARM、HPE 等公司發(fā)起定義的面向內存語義的技術）、OpenCAP（Open Coherent Accelerator Processor Interface，最早由IBM 提出的異構計算接口）等技術的成果，正逐步成為業(yè)界主流高速互聯(lián)標準。NVMe 2.0 也在向著語義統(tǒng)一、Fabric 統(tǒng)一和介質統(tǒng)一方向演進。 這些新型存儲、計算和網(wǎng)絡硬件為構建面向云和互聯(lián)網(wǎng)場景的新型存算分離架構帶來了諸多機遇，譬如使用 DPU 等專用芯片能夠打破傳統(tǒng)以CPU 為中心的服務器架構，由此提升數(shù)據(jù)密集型應用的效率。 二、新型存算分離架構的特征 隨著遠程直接內存訪問（Remote Direct MemoryAccess，RDMA）、CXL、可編程網(wǎng)絡設備、高性能NVMe SSD、持久性內存等新型硬件技術的發(fā)展，需要構建新型存算分離架構，以確保云和互聯(lián)網(wǎng)存儲域服務能夠兼顧資源利用率、可靠性、性能、效率等眾多訴求。相較于傳統(tǒng)架構，新型存算分離架構最為顯著的區(qū)別在于 ： （1）更為徹底的存算解耦，該架構不再局限于將 CPU 和外存解耦，而是徹底打破各類存算硬件資源的邊界，將其組建為彼此獨立的硬件資源池（例如處理器池、內存池、機械硬盤（HDD）/ 固態(tài)硬盤（SSD）池等），從真正意義上實現(xiàn)各類硬件的獨立擴展及靈活共享 ； （2）更為細粒度的處理分工，即打破了傳統(tǒng)以通用 CPU 為中心的處理邏輯，使數(shù)據(jù)處理、聚合等原本 CPU 不擅長的任務被專用加速器、DPU 等替代，從全局角度實現(xiàn)硬件資源的最優(yōu)組合，進而提供極致的能效比。 總結來說，新型存算分離架構具有如下特征 ： 1．無盤化的服務器。新型存算分離架構將服務器本地盤拉遠構成無盤化（diskless）服務器和遠端存儲池，同時還通過遠程內存池擴展本地內存，實現(xiàn)了真正意義上的存算解耦，可極大提升存儲資源利用率。業(yè)務使用時，可根據(jù)應用需求選擇配置不同性能、容量的虛擬盤及池化內存空間，這樣一方面可以避免由于不同服務器本地存儲空間利用率過低導致超配造成的浪費 ；另一方面，當服務器出現(xiàn)故障或者更新?lián)Q代時，也不影響數(shù)據(jù)的保存，不需要額外的數(shù)據(jù)遷移。 2．多樣化的網(wǎng)絡協(xié)議。連接計算和存儲間的網(wǎng)絡協(xié)議從當前的 IP 或光纖通道（Fibre Channel，F(xiàn)C）協(xié)議擴展到 CXL+NoF+IP 協(xié)議組合。CXL 協(xié)議使得網(wǎng)絡時延降低到亞微秒級別，有助于內存型介質的池化 ；NoF 協(xié)議加速 SSD 池化 ；IP 協(xié)議可滿足 HDD 等慢速介質訪問訴求。通過這幾類協(xié)議組合構建的高通量網(wǎng)絡，滿足了多種場景池化接入訴求。 3．專用化的數(shù)據(jù)處理器。數(shù)據(jù)存儲、訪問等操作不再由通用處理器負責，而是卸載到專用數(shù)據(jù)處理器。此外，特定的數(shù)據(jù)操作可由專用硬件加速器進行進一步加速，如糾刪碼、加密壓縮、網(wǎng)絡通信等。通過專用數(shù)據(jù)處理器，可以釋放通用處理器算力，用于服務更適合的場景，顯著提升系統(tǒng)整體能效比。

4．極高存力密度的存儲系統(tǒng)。分離式存儲系統(tǒng)（disaggregate storage）是新型架構的重要組件，作為持久化數(shù)據(jù)的底座，在存儲介質的集約化管理基礎上，結合芯片、介質的深度協(xié)同設計，整合當前系統(tǒng)、盤兩級的空間管理，通過大比例糾刪碼算法減少冗余資源開銷比例。此外，還可通過基于芯片加速的場景化數(shù)據(jù)縮減技術提供更多的數(shù)據(jù)可用空間。

三、面向云和互聯(lián)網(wǎng)場景的存算分離架構

新型存算分離架構意在解決前文所提的當前架構面臨的幾大痛點挑戰(zhàn)，通過將原有架構的多級分層資源進行徹底解耦池化和重組整合，形成新的三大簡化分層 ：存儲模組、總線網(wǎng)絡和算力模組，從而提供服務器本地存儲拉遠池化、新型網(wǎng)絡靈活組裝、以數(shù)據(jù)為中心的多元處理、高容量極簡盤框等幾大新興能力。

1、存儲模組

面向云和互聯(lián)網(wǎng)數(shù)據(jù)中心，需要以更專業(yè)的存儲能力重新定義云和互聯(lián)網(wǎng)的存儲架構。新型存算分離架構中，存儲型模組主要以 EBOF、以太網(wǎng)內存簇（Ethernet Bunch of Memory，EBOM）、以太網(wǎng)磁盤簇（Ethernet Bunch of Disk，EBOD）等新型盤框形態(tài)存在，RAID/EC/ 壓縮等傳統(tǒng)存儲能力下沉到新型盤框中，構成“盤即存儲”的大盤技術，對外通過NoF 等高速共享網(wǎng)絡提供塊、文件等標準存儲服務。這一類新型盤框將傳統(tǒng)磁盤陣列的冗余池化技術和數(shù)據(jù)縮減技術進行了高度集約化和小型化。

云和互聯(lián)網(wǎng)的多樣業(yè)務主要分為三種典型的應用場景（如圖 3 所示）。第一種場景是針對虛擬化業(yè)務，直接將數(shù)據(jù)中心存儲域服務器的本地盤拉遠，對分布式開源存儲集群的物理硬盤層形成替代。第二種場景是為數(shù)據(jù)庫、大數(shù)據(jù)服務等需要極熱數(shù)據(jù)處理的業(yè)務提供大內存、鍵 - 值（Key-Value，KV）接口，加速數(shù)據(jù)處理效率 ；第三種場景是針對容器等新業(yè)務場景，為 Ceph、Lustre 等分布式應用直接提供文件語義，卸載本地數(shù)據(jù)布局，并支持將溫熱數(shù)據(jù)分級到更冷的 EBOD 等機械硬盤或磁帶型存儲模組中，提升整系統(tǒng)資源使用效率。

2、算力模組

當前，摩爾定律演進變緩，只有采用專用處理器才能進一步以異構方式發(fā)揮出下一階段的算力。引入專用處理器后，算力池化是必然選擇 ；否則，如果為每臺服務器配置異構算力卡，不僅使整機功耗巨大，還會導致資源利用率十分低下。

以 DPU 為代表的專業(yè)數(shù)據(jù)處理器具備成本更低、功耗更低、即插即用、即換即用等獨特優(yōu)勢，并且在運行狀態(tài)下不與業(yè)務應用發(fā)生資源爭搶，保證用戶業(yè)務正常運行的同時也保障了基礎設施的服務質量。

3、高通量數(shù)據(jù)總線

存算分離架構中，網(wǎng)絡技術非常重要，它決定了系統(tǒng)的響應速度以及吞吐能力，也決定了系統(tǒng)資源池化的能力范圍。過去 10 年，萬兆 IP 網(wǎng)絡促使 HDD 池化，基于 IP 網(wǎng)絡發(fā)展了支持塊、文件、對象共享的訪問協(xié)議。當前，面向熱數(shù)據(jù)處理，NVMe/RoCE（RDMA over Converged Ethernet,RDMA 融合以太網(wǎng) ） 促 使 SSD 池 化 ；并 且，NVMe 協(xié)議快速發(fā)展使其開始收編煙囪式協(xié)議規(guī)范。下一步，面向極熱數(shù)據(jù)處理，內存型網(wǎng)絡（例如 CXL Fabric）將促使內存資源池化，為業(yè)務提供更大的共享內存空間（如圖 4 所示）。