基于QAT硬件壓縮加速器和ZFS文件系統(tǒng)實現(xiàn)

01?背景和動機(jī)

壓縮作為一種有效降低SSD數(shù)據(jù)寫入量的方法由于受到CPU壓縮/解壓效率不高的影響，在某些情況下吞吐量甚至低于非壓縮IO系統(tǒng)。而硬件ASIC壓縮加速器在性能、功耗上都優(yōu)于CPU/GPU/FPGA ，且高性能的硬件壓縮加速器成本越來越低，如Intel QAT加速器甚至直接集成在芯片組內(nèi)。

文章首先進(jìn)行了兩個實驗，第一個實驗是在NVMe SSD+HDD組成的混合存儲系統(tǒng)上分別使用啟用GZIP和LZ4壓縮功能的ZFS文件系統(tǒng)進(jìn)行寫性能測試，結(jié)果表明，壓縮有效降低了系統(tǒng)的寫入量，同時發(fā)現(xiàn)與LZ4算法相比，GZIP壓縮率更高，但是計算開銷也更高。第二個實驗是分別在啟用GZIP和LZ4壓縮功能的ZFS文件系統(tǒng)上進(jìn)行大數(shù)據(jù)分析性能測試，測試結(jié)果如下圖所示，可以看出GZIP與LZ4相比，IO開銷更少，但是由于解壓開銷過大，性能甚至不如不適用壓縮的ZFS。

可以發(fā)現(xiàn)：GZIP的高CPU占用可能導(dǎo)致資源競爭、影響其他任務(wù)；壓縮/解壓應(yīng)該卸載到硬件完成而不是使用低效而繁忙的CPU處理。

02?QZFS的設(shè)計與實現(xiàn)

本文作者對ZFS的壓縮路徑進(jìn)行了改造，將軟件壓縮替換為QAT硬件壓縮。為了使用QAT對ZFS進(jìn)行壓縮加速，需要解決以下問題：首先，卸載壓縮應(yīng)該將壓縮、解壓函數(shù)調(diào)用替換為ASIC IO調(diào)用；其次，由于QAT對數(shù)據(jù)的處理與軟件實現(xiàn)的壓縮不同，因此需要對數(shù)據(jù)進(jìn)行預(yù)處理；之后，為了高效的壓縮卸載，需要對運行時的內(nèi)存地址翻譯、操作進(jìn)行優(yōu)化；最后，為了優(yōu)于卸載開銷，需要選擇性的將部分壓縮任務(wù)卸載到QAT，而不是全部交給QAT實現(xiàn)。

QZFS系統(tǒng)設(shè)計

整個QZFS的設(shè)計如下圖所示，設(shè)計基于QAT硬件壓縮加速器和ZFS文件系統(tǒng)實現(xiàn)，可以作為Lustre的后端文件系統(tǒng)。整個QZFS實現(xiàn)僅依賴QAT的硬件API和Linux環(huán)境，并且已經(jīng)合入ZFS官方版本。

壓縮服務(wù)引擎

壓縮服務(wù)引擎由壓縮性檢查器和算法選擇器組成，用于決定哪些壓縮任務(wù)卸載到QAT加速器上。功能包括壓縮率決定的壓縮卸載、原始數(shù)據(jù)大小決定的選擇性卸載和可擴(kuò)展的壓縮算法選擇器。

壓縮率決定的壓縮卸載是使用壓縮率檢查器決定是否將數(shù)據(jù)保存為壓縮格式，當(dāng)檢查器收到ZIO模塊的寫入請求時，記原始數(shù)據(jù)長度，預(yù)設(shè)壓縮結(jié)果長度，若QAT壓縮結(jié)果長度超過，則直接進(jìn)行原始數(shù)據(jù)寫入，不進(jìn)行壓縮。

原始數(shù)據(jù)大小選擇性卸載是指：由于對過小的數(shù)據(jù)進(jìn)行硬件壓縮卸載造成的硬件通信開銷過大，而過大的數(shù)據(jù)需要在內(nèi)核中預(yù)留過多的連續(xù)內(nèi)存，因此需要根據(jù)數(shù)據(jù)大小將壓縮任務(wù)選擇性的卸載到QAT加速器上運行。當(dāng)時，卸載到QAT執(zhí)行，其他大小則使用軟件壓縮。

可擴(kuò)展的壓縮算法選擇器用于在壓縮時選擇合適的算法進(jìn)行壓縮，由于其高度模塊化，因此可以方便的擴(kuò)展其他壓縮算法，文章發(fā)表時僅實現(xiàn)了GZIP的壓縮方法。

向量化IO模型

QAT需要連續(xù)的物理內(nèi)存存放數(shù)據(jù)，而ZIO使用的虛擬內(nèi)存物理上可能不連續(xù)，因此使用扁平緩沖和分散緩沖表實現(xiàn)了向量IO模型，整個模型結(jié)構(gòu)如下圖所示。這種將連續(xù)數(shù)據(jù)分割成定長的數(shù)據(jù)塊組并分散存放可以避免在調(diào)用QAT時分配大量連續(xù)內(nèi)存引起的內(nèi)存復(fù)制開銷。

QAT卸載任務(wù)組織

為了進(jìn)行負(fù)載均衡，避免任務(wù)堆積，需要對QZFS的硬件壓縮卸載進(jìn)行調(diào)度。具體方法為：在QZFS啟動時，QAT卸載模塊會初始化一個邏輯實例，分配部分連續(xù)的物理內(nèi)存作為QAT運行數(shù)據(jù)緩存區(qū)，并建立與QAT硬件的通信通道。當(dāng)壓縮任務(wù)過多時，任務(wù)卸載模塊可能因為沒有足夠的QAT計算資源無法獲得QAT實例，此時卸載模塊將通過軟件替代即使用CPU完成壓縮來平衡系統(tǒng)的計算資源。

每個卸載的壓縮任務(wù)使用壓縮會話描述。有時，這些壓縮會話可能會發(fā)生錯誤。如果無法正確處理QAT加速器上的故障，則可以重新啟動QAT設(shè)備進(jìn)行恢復(fù)。在這種情況下，QAT卸載模塊清理所有正在執(zhí)行的壓縮會話，并將可用性標(biāo)志設(shè)置為FALSE，以禁用所有QAT卸載操作，直到完成重新初始化操作。

03?評估

評估平臺

整個評估平臺由4臺服務(wù)器組成，每臺裝備有兩個22核心Xeon E5-2699v4，128G RAM，1組NVMe SSD陣列和一塊DH8950 PCIe QAT card。每個NVMe陣列由3塊1.6TB Intel P3700 Series NVNe SSD組成。服務(wù)器通過Intel XL710 40GB 網(wǎng)卡和100Gb以太網(wǎng)交換機(jī)連接，具體連接方式如下圖所示。

基準(zhǔn)性能測試

使用fio進(jìn)行多線程讀寫性能基準(zhǔn)測試。測試結(jié)果如下圖所示，結(jié)果表明，在壓縮關(guān)閉配置中，平均讀吞吐量比平均寫吞吐量高18%，隨機(jī)讀取吞吐量最高3937 MB/s，與NVMe固態(tài)硬盤的硬件特性一致。軟件GZIP下，平均讀比寫吞吐量高出約4.5倍，這是因為GZIP算法的壓縮速度遠(yuǎn)低于解壓速度。啟用QAT加速器后，平均讀吞吐量與寫吞吐量相近?？偟膩碚f，QAT配置具有最高的讀/寫吞吐量和成本效率。GZIP配置與QAT配置具有相似的壓縮比，但其高CPU開銷不僅導(dǎo)致寫入吞吐量低、系統(tǒng)效率低。與OFF配置相比，開啟QAT因為壓縮數(shù)據(jù)降低了存儲的I/O成本，因此改進(jìn)了吞吐量（讀10%，寫28%）。

科學(xué)大數(shù)據(jù)性能評估

在Luster客戶端上運行Luster OSS訪問存儲上的科學(xué)數(shù)據(jù)，部署方式分別為單節(jié)點集群和多節(jié)點（3/4節(jié)點）集群。

單節(jié)點方案

首先，作者分析了不同硬件/軟件方案在進(jìn)行科學(xué)大數(shù)據(jù)分析時的執(zhí)行時間，可以看出，由于分析轉(zhuǎn)換時間固定，執(zhí)行差異集中在解壓開銷，可以看出QZFS保持了最高的解壓效率。

之后，作者分析了不同線程數(shù)量下的執(zhí)行時間和效率，結(jié)果如下圖所示。單線程下，相對于軟件GZIP，QAT配置下的執(zhí)行時間降低了約30%。隨著線程數(shù)增加，GZIP和QAT配置的執(zhí)行時間逐漸減少。在每個工作負(fù)載進(jìn)程中有16個線程的情況下，QAT加速的gzip性能優(yōu)勢從30%增長到60%，因為更多的線程產(chǎn)生更多的并行I/O請求，提高了底層QAT加速器的利用率。

多節(jié)點方案

在三節(jié)點、四節(jié)點上進(jìn)行性能測試的結(jié)果與單節(jié)點模式類似，QAT平均降低了63.10%和63.14%的執(zhí)行時間，整體效率提升了6倍多。

04?總結(jié)

高IO性能和低總體成本是兩個難以同時實現(xiàn)重要的優(yōu)化目標(biāo)。數(shù)據(jù)壓縮被認(rèn)為是一種有效的解決方案，但壓縮任務(wù)會產(chǎn)生較高的計算資源消耗，并可能影響應(yīng)用程序工作負(fù)載的運行。本文研究了文件系統(tǒng)級別的數(shù)據(jù)壓縮卸載。QZFS旨在將Intel QAT加速器集成到ZFS文件系統(tǒng)中，以提供與應(yīng)用程序透明且經(jīng)濟(jì)高效的數(shù)據(jù)存儲。評估已經(jīng)驗證，與帶軟件gzip壓縮的ZFS、應(yīng)用程序集成gzip加速相比，QZFS可以有效節(jié)省CPU資源，并進(jìn)一步提高大數(shù)據(jù)處理工作負(fù)載的性能。

致謝

感謝本次論文解讀者，來自華東師范大學(xué)的碩士生黃奕陽，主要研究方向為文件系統(tǒng)壓縮。

編輯：黃飛

?