01?背景和動機

壓縮作為一種有效降低SSD數(shù)據(jù)寫入量的方法由于受到CPU壓縮/解壓效率不高的影響，在某些情況下吞吐量甚至低于非壓縮IO系統(tǒng)。而硬件ASIC壓縮加速器在性能、功耗上都優(yōu)于CPU/GPU/FPGA ，且高性能的硬件壓縮加速器成本越來越低，如Intel QAT加速器甚至直接集成在芯片組內。

文章首先進行了兩個實驗，第一個實驗是在NVMe SSD+HDD組成的混合存儲系統(tǒng)上分別使用啟用GZIP和LZ4壓縮功能的ZFS文件系統(tǒng)進行寫性能測試，結果表明，壓縮有效降低了系統(tǒng)的寫入量，同時發(fā)現(xiàn)與LZ4算法相比，GZIP壓縮率更高，但是計算開銷也更高。第二個實驗是分別在啟用GZIP和LZ4壓縮功能的ZFS文件系統(tǒng)上進行大數(shù)據(jù)分析性能測試，測試結果如下圖所示，可以看出GZIP與LZ4相比，IO開銷更少，但是由于解壓開銷過大，性能甚至不如不適用壓縮的ZFS。

可以發(fā)現(xiàn)：GZIP的高CPU占用可能導致資源競爭、影響其他任務；壓縮/解壓應該卸載到硬件完成而不是使用低效而繁忙的CPU處理。

02?QZFS的設計與實現(xiàn)

本文作者對ZFS的壓縮路徑進行了改造，將軟件壓縮替換為QAT硬件壓縮。為了使用QAT對ZFS進行壓縮加速，需要解決以下問題：首先，卸載壓縮應該將壓縮、解壓函數(shù)調用替換為ASIC IO調用；其次，由于QAT對數(shù)據(jù)的處理與軟件實現(xiàn)的壓縮不同，因此需要對數(shù)據(jù)進行預處理；之后，為了高效的壓縮卸載，需要對運行時的內存地址翻譯、操作進行優(yōu)化；最后，為了優(yōu)于卸載開銷，需要選擇性的將部分壓縮任務卸載到QAT，而不是全部交給QAT實現(xiàn)。

QZFS系統(tǒng)設計

整個QZFS的設計如下圖所示，設計基于QAT硬件壓縮加速器和ZFS文件系統(tǒng)實現(xiàn)，可以作為Lustre的后端文件系統(tǒng)。整個QZFS實現(xiàn)僅依賴QAT的硬件API和Linux環(huán)境，并且已經合入ZFS官方版本。

壓縮服務引擎

壓縮服務引擎由壓縮性檢查器和算法選擇器組成，用于決定哪些壓縮任務卸載到QAT加速器上。功能包括壓縮率決定的壓縮卸載、原始數(shù)據(jù)大小決定的選擇性卸載和可擴展的壓縮算法選擇器。

壓縮率決定的壓縮卸載是使用壓縮率檢查器決定是否將數(shù)據(jù)保存為壓縮格式，當檢查器收到ZIO模塊的寫入請求時，記原始數(shù)據(jù)長度，預設壓縮結果長度，若QAT壓縮結果長度超過，則直接進行原始數(shù)據(jù)寫入，不進行壓縮。

原始數(shù)據(jù)大小選擇性卸載是指：由于對過小的數(shù)據(jù)進行硬件壓縮卸載造成的硬件通信開銷過大，而過大的數(shù)據(jù)需要在內核中預留過多的連續(xù)內存，因此需要根據(jù)數(shù)據(jù)大小將壓縮任務選擇性的卸載到QAT加速器上運行。當時，卸載到QAT執(zhí)行，其他大小則使用軟件壓縮。

可擴展的壓縮算法選擇器用于在壓縮時選擇合適的算法進行壓縮，由于其高度模塊化，因此可以方便的擴展其他壓縮算法，文章發(fā)表時僅實現(xiàn)了GZIP的壓縮方法。

向量化IO模型

QAT需要連續(xù)的物理內存存放數(shù)據(jù)，而ZIO使用的虛擬內存物理上可能不連續(xù)，因此使用扁平緩沖和分散緩沖表實現(xiàn)了向量IO模型，整個模型結構如下圖所示。這種將連續(xù)數(shù)據(jù)分割成定長的數(shù)據(jù)塊組并分散存放可以避免在調用QAT時分配大量連續(xù)內存引起的內存復制開銷。

QAT卸載任務組織

為了進行負載均衡，避免任務堆積，需要對QZFS的硬件壓縮卸載進行調度。具體方法為：在QZFS啟動時，QAT卸載模塊會初始化一個邏輯實例，分配部分連續(xù)的物理內存作為QAT運行數(shù)據(jù)緩存區(qū)，并建立與QAT硬件的通信通道。當壓縮任務過多時，任務卸載模塊可能因為沒有足夠的QAT計算資源無法獲得QAT實例，此時卸載模塊將通過軟件替代即使用CPU完成壓縮來平衡系統(tǒng)的計算資源。

每個卸載的壓縮任務使用壓縮會話描述。有時，這些壓縮會話可能會發(fā)生錯誤。如果無法正確處理QAT加速器上的故障，則可以重新啟動QAT設備進行恢復。在這種情況下，QAT卸載模塊清理所有正在執(zhí)行的壓縮會話，并將可用性標志設置為FALSE，以禁用所有QAT卸載操作，直到完成重新初始化操作。

03?評估

評估平臺

整個評估平臺由4臺服務器組成，每臺裝備有兩個22核心Xeon E5-2699v4，128G RAM，1組NVMe SSD陣列和一塊DH8950 PCIe QAT card。每個NVMe陣列由3塊1.6TB Intel P3700 Series NVNe SSD組成。服務器通過Intel XL710 40GB 網(wǎng)卡和100Gb以太網(wǎng)交換機連接，具體連接方式如下圖所示。

基準性能測試

使用fio進行多線程讀寫性能基準測試。測試結果如下圖所示，結果表明，在壓縮關閉配置中，平均讀吞吐量比平均寫吞吐量高18%，隨機讀取吞吐量最高3937 MB/s，與NVMe固態(tài)硬盤的硬件特性一致。軟件GZIP下，平均讀比寫吞吐量高出約4.5倍，這是因為GZIP算法的壓縮速度遠低于解壓速度。啟用QAT加速器后，平均讀吞吐量與寫吞吐量相近?？偟膩碚f，QAT配置具有最高的讀/寫吞吐量和成本效率。GZIP配置與QAT配置具有相似的壓縮比，但其高CPU開銷不僅導致寫入吞吐量低、系統(tǒng)效率低。與OFF配置相比，開啟QAT因為壓縮數(shù)據(jù)降低了存儲的I/O成本，因此改進了吞吐量（讀10%，寫28%）。

科學大數(shù)據(jù)性能評估

在Luster客戶端上運行Luster OSS訪問存儲上的科學數(shù)據(jù)，部署方式分別為單節(jié)點集群和多節(jié)點（3/4節(jié)點）集群。

單節(jié)點方案

首先，作者分析了不同硬件/軟件方案在進行科學大數(shù)據(jù)分析時的執(zhí)行時間，可以看出，由于分析轉換時間固定，執(zhí)行差異集中在解壓開銷，可以看出QZFS保持了最高的解壓效率。

之后，作者分析了不同線程數(shù)量下的執(zhí)行時間和效率，結果如下圖所示。單線程下，相對于軟件GZIP，QAT配置下的執(zhí)行時間降低了約30%。隨著線程數(shù)增加，GZIP和QAT配置的執(zhí)行時間逐漸減少。在每個工作負載進程中有16個線程的情況下，QAT加速的gzip性能優(yōu)勢從30%增長到60%，因為更多的線程產生更多的并行I/O請求，提高了底層QAT加速器的利用率。

多節(jié)點方案

在三節(jié)點、四節(jié)點上進行性能測試的結果與單節(jié)點模式類似，QAT平均降低了63.10%和63.14%的執(zhí)行時間，整體效率提升了6倍多。

04?總結

高IO性能和低總體成本是兩個難以同時實現(xiàn)重要的優(yōu)化目標。數(shù)據(jù)壓縮被認為是一種有效的解決方案，但壓縮任務會產生較高的計算資源消耗，并可能影響應用程序工作負載的運行。本文研究了文件系統(tǒng)級別的數(shù)據(jù)壓縮卸載。QZFS旨在將Intel QAT加速器集成到ZFS文件系統(tǒng)中，以提供與應用程序透明且經濟高效的數(shù)據(jù)存儲。評估已經驗證，與帶軟件gzip壓縮的ZFS、應用程序集成gzip加速相比，QZFS可以有效節(jié)省CPU資源，并進一步提高大數(shù)據(jù)處理工作負載的性能。

致謝

感謝本次論文解讀者，來自華東師范大學的碩士生黃奕陽，主要研究方向為文件系統(tǒng)壓縮。

編輯：黃飛

?