基于FDP SSD的ROCKSDB寫放大優(yōu)化

作為SSD的關鍵指標，寫放大(WriteAmplification，WA)始終是SSD領域待攻克的技術難題之一。其本質(zhì)表現(xiàn)為SSD的實際物理寫入量超過主機原始請求寫入量。這一現(xiàn)象的根本原因在于NAND閃存介質(zhì)必須以塊(BIoCK)為單位進行擦除，而主機端的寫入請求往往以頁(Page)為單位分散分布于多個塊中。當某塊內(nèi)有效數(shù)據(jù)占比低于闊值時，SSD控制器啟動垃圾回收(Garbage Collection，GC)機制，將尚存的有效數(shù)據(jù)搬運至新擦除的塊中，同時釋放原塊以供復用，這一過程必然產(chǎn)生額外的寫入量。這些額外的寫開銷不僅影響系統(tǒng)整體性能，導致吞吐量下降和延遲升高，還會縮短SSD的使用壽命。

這一挑戰(zhàn)推動了SSD領域的一個重要研究方向一數(shù)據(jù)放置技術。SSD數(shù)據(jù)放置技術是通過硬件與軟件的深度協(xié)同設計，對主機數(shù)據(jù)在SSD介質(zhì)中的物理布局進行優(yōu)化的技術方案，其核心在于通過降低GC的觸發(fā)頻率，從根本上抑制寫放大(Write Amplification，WA)效應的產(chǎn)生機制。

NVMev2.1規(guī)范所定義的靈活數(shù)據(jù)放置(Flexible Data Placement，F(xiàn)DP)技術，既從底層閃存管理層面顯著減少無效GC操作引I發(fā)的超額寫入流量，又通過FDP的控制指令集降低了上層存儲棧的適配復雜度。此外，F(xiàn)DP還具有向后兼容能力，能夠復用當前的軟件棧，最終在解決寫放大問題與軟件生態(tài)兼容性之間建立了技術平衡點。FDP突破了傳統(tǒng)SSD被動式數(shù)據(jù)管理的局限，通過向主機公開設備資源信息，并提供數(shù)據(jù)分類放置接口，使主機能夠根據(jù)數(shù)據(jù)特性(如冷/熱數(shù)據(jù))主動將數(shù)據(jù)分類放置在SSD上不同的存儲單元中。這一機制實現(xiàn)了數(shù)據(jù)的分流隔離和存儲單元的精細化布局，從根本上解決了不同特性數(shù)據(jù)混合存儲導致的的余搬移問題。關于FDP技術的實現(xiàn)機制的深度解析，可參考我們發(fā)布在ODCC官網(wǎng)上的《FDPSSD技術與應用白皮書》。

Linux虛擬文件系統(tǒng)(VFS)從版本4.13起，定義了文件生命周期的管理機制，分別為SHORT(短周期)，MEDIUM(中周期)，LONG(長周期)和EXTREME(超長周期)。應用可通過fcntI(2)系統(tǒng)調(diào)用對文件顯式的指定上述生命周期等級。此外，VFS還定義了NOT_SET和NONE兩種類型，NOT_SET為VFS默認類型，表示當文件沒有被顯示聲明生命周期時的類型。

NONE表示文件不關聯(lián)任何生命周期屬性的配置。該機制與FDP SSD相結合時，可將不同生命周期的文件映射至FDP內(nèi)部預設數(shù)據(jù)流中降低寫放大效應。

RocksDB是Meta公司開源的一款高性能嵌入式鍵值對存儲系統(tǒng)，其核心架構基于Log-StructuredMerge-Tree(LSM-Tree)算法設計，采用分層存儲結構進行數(shù)據(jù)管理，通過追加寫(Append-only)與合并(Compaction)兩大核心機制實現(xiàn)高吞吐與低延遲特性。其中，SSTable(Sorted String Table)，是RocksDB持久化存儲的核心文件，以鍵值對有序序列的形式存儲數(shù)據(jù)，并按層級(Level)進行組織。較新的數(shù)據(jù)存儲在Levelo中，較老的數(shù)據(jù)隨著合并(Compaction)過程逐步歸并在編號更高的Level中。

ROCkSDB默認的數(shù)據(jù)分類策略是將文件的層級特性映射為VFS的文件生命周期標識，具體表現(xiàn)為：預寫日志(WAL)文件被標記為SHORT;LeVelO和LeVel1的SSTable文件被標記為MEDIUM;LeVeI2的SSTable文件被標記為LONG;LeVeI3及更高層級的SSTable文件則被標記為EXTREME;其它文件(包括MANIFEST、CURRENT、檢查點日志等)未進行顯式生命周期標記，默認保留為NOT_SET標識。

通過對ROockSDB的數(shù)據(jù)分類策略進行系統(tǒng)性分析，我們發(fā)現(xiàn)SSTable文件在LSM-Tree層級中的生命周期存在顯著的階段性分布特征：位于LevelO至Level3的SSTable文件具有相對較短的駐留周期，而Level4以及上的文件則展現(xiàn)出最長的存活時間?；谶@一觀測結果，本實驗摒棄了RoCkSDB原生的數(shù)據(jù)分類策略，轉而提出一種優(yōu)化的分類方案。即WAL文件標記保持不變，將LeVeI03文件標記為MEDIUM，LeVel4文件標記為LONG，LeVeI5及以上文件標記為EXTREME，其余未歸類文件統(tǒng)一標記為NOT_SET。如表1所示：

表 1：RocksDB 分類策略對比

我們采用FDPSSD(型號U.2PM9D3a，7.68TB容量)，針對優(yōu)化前后的ROCkSDB分類方案進行了對比測試。通過YCSB基準測試工具對2億條記錄進行數(shù)據(jù)加載(Load)與更新(Update)操作，全面評估不同分類策略的表現(xiàn)。測試結果表明，RocksDB的原生分類方案在FDPSSD上的WAF相比普通SSD降低了約8%，而優(yōu)化后的分類方案將WAF顯著降低30%。此外，優(yōu)化后的分類方案使每秒操作數(shù)(OPS)提升了10%，同時p99.9延遲得到了55%的改善。

圖1. RocksDB 在關閉 FDP，開啟 FDP 使用原生分類策略和優(yōu)化分類策略的 WAF 對比

圖 2. 寫放大和 SSD 容量利用率的相關性

圖3.ROCKSDB在關閉FDP，開啟FDP使用優(yōu)化分類策略的性能對比

除了在文件系統(tǒng)層面支持FDPSSD外，我們還為ROCKSDB開發(fā)了基于FDPSSD的端到端解決方案。ROCKSDB通過抽象封裝API支持多種存儲后端，我們開發(fā)了RoCkSDB擴展插件一TorFS。該插件通過深度集成FDP特性，實現(xiàn)了面向FDPSSD的數(shù)據(jù)分流。在IO調(diào)度層，依托xNVMe開源庫實現(xiàn)多路徑IO的支持。為促進生態(tài)發(fā)展，TorFS提供了標準化IO接口，允許第三方開發(fā)者集成定制化的10路徑。

圖 4. TorFS 架構

基于TorFS的端到端方案進行測試，測試結果表明，RocksDB成功實現(xiàn)了對寫放大效應的顯著抑制，其寫放大因子(WAF)值近乎趨近于理論極限的1，同時系統(tǒng)性能指標達到最優(yōu)水平，展現(xiàn)出低延遲、高吞吐量與穩(wěn)定持久化的綜合優(yōu)勢。

圖5.RocksDB使用TorFS端到端解決方案的寫放大和性能

上述實驗證實，通過對數(shù)據(jù)生命周期管理，F(xiàn)DP技術顯著提升了SSD的性能與壽命指標。我們期待將這項技術及優(yōu)勢帶給整個超大規(guī)模數(shù)據(jù)中心。我們致力于將這一技術及優(yōu)勢推廣至超大規(guī)模數(shù)據(jù)中心生態(tài)系統(tǒng)，以實現(xiàn)存儲架構中數(shù)據(jù)布局與底層介質(zhì)特性的深度適配。