在GEN5 NVME硬盤下RAID的性能比較

我們已經(jīng)多次查看 Graid SupremeRAID 卡和軟件，并且對 Graid 所實現(xiàn)的極端存儲性能印象深刻。 傳統(tǒng)的硬件和軟件 RAID 在性能方面都有很大的不足，這為 Graid 帶來更好的解決方案。 隨著 Gen5 SSD 的批量出貨，我們組裝了一臺裝備精良的服務(wù)器，看看讓閃存飛起來會發(fā)生什么。

為什么選擇 Graid SupremeRAID 與硬件 RAID比較？

Graid 解決方案包含兩個核心元素：GPU 和軟件定義存儲 (SDS) 堆棧。 與 RAID 卡一樣，GPU 將大部分硬盤管理和數(shù)據(jù)保護任務(wù)從 CPU 中分離出來，從而將 CPU 騰出來來運行應(yīng)用程序。 然而，與 RAID 卡不同的是，SupremeRAID 的效率要高得多。 它直接通過 PCIe 總線對驅(qū)動器進行尋址，無需額外的布線或復(fù)雜的機箱配置。 由于 GPU 比 RAID 卡的 ASIC 更具動態(tài)性，因此 Graid 的性能擴展得到了極大的提高。

當查看服務(wù)器內(nèi)出現(xiàn)瓶頸的位置時，擴展優(yōu)勢立即顯而易見。 當前的 RAID 卡僅限于 Gen4，最高可達 28GB/s。 四個的 Gen4 SSD 可以使單個 RAID 卡飽和。 該系統(tǒng)需要多個 RAID 卡才能利用 24 盤位服務(wù)器中的所有硬盤達到其最快的速度。 另一方面，SupremeRAID 可以在單個系統(tǒng)中支持 32 個驅(qū)動器，并且沒有 PCIe 插槽帶寬限制。

隨著每一代接口的飛躍，硬件 RAID 的性能問題變得更加復(fù)雜。 為了支持 Gen5 SSD，需要新的硬件 RAID ASIC。 但即便如此，硬件 RAID 仍將面臨與上述相同的擴展問題。 SupremeRAID GPU 目前使用 Gen4 接口，公平地說，這目前只是 Intel/AMD/NVIDIA 的問題。 但這并不能阻止它釋放 Gen5 硬盤的性能。 這意味著高達 260GB/s 和 28M IOPS 的性能水平。 當 Gen5 GPU 上市時，Graid 可以進一步提高 IOPS 數(shù)字。

關(guān)于 Graid GPU 的最后一點：今天，它們的大部分實現(xiàn)都在 SR-1010的 產(chǎn)品，利用 NVIDIA A2000 GPU。 我們提出這一點是為了指出，Graid 不需要為 SupremeRAID 配備昂貴或難以找到的 GPU，也不需要使用具有外部電源的 GPU。 如果出于某種原因，用戶更喜歡備用卡，Graid 的軟件幾乎可以在我們在實驗室的 A2 上測試過的任何 NVIDIA 芯片上運行，并獲得出色的結(jié)果。 無論如何，GPU 都很容易安裝，并且不需要額外的電池。

為什么選擇 Graid SupremeRAID 與 軟件 RAID的比較？

由于早期 NVMe RAID 卡的成本、復(fù)雜性和中等性能，軟件 RAID 近年來迅速發(fā)展。 當我們需要一種快速、簡單的方法來將 NVMe SSD 組合在一起并在線時，我們就部署了 Windows 存儲空間、Linux MD 或 ZFS RAIDZ。 但與任何不使用硬件加速的存儲軟件一樣，也是有成本的。 主機 CPU 必須運行驅(qū)動器管理和數(shù)據(jù)保護，從而占用應(yīng)用程序的周期。 Graid 基于 GPU 的產(chǎn)品沒有此限制，可確保服務(wù)器上的存儲和應(yīng)用程序?qū)崿F(xiàn)最佳性能。

此外，對于軟件 RAID，操作系統(tǒng)的選擇限制了選擇。 Graid 幾乎可以在任何東西上運行，包括超過六種 Linux 發(fā)行版和 Windows。 公平地說，與軟件 RAID 相比，Graid 的運行難度稍大一些； 系統(tǒng)中必須安裝 GPU，而額外的工作量可以說可以忽略不計。 然而，回報是驚人的，正如您將在下面看到的那樣。 我們談?wù)摰氖?SupremeRAID 比軟件 RAID 有著數(shù)量級的差距。

Grid SupremeRAID Gen5 性能

對于此測試，我們將 Supermicro AS-2125HS-TNR 服務(wù)器與兩個 AMD EPYC 9654 CPU、384GB DRAM 和 24 個 3.84TB 組合在一起 KIOXIA 的 CM7-R Gen5 SSD.

我們將硬盤配置為 軟 RAID 和 Graid 的 RAID5 配置。 對于條帶大小，我們?yōu)?Graid 使用 4K 條帶，為 mdadm（軟RAID） 使用 4K、64K 和 512K 塊來做測試。 軟件 RAID 需要改變塊大小，才能在優(yōu)化配置中顯示峰值 4K 傳輸速度，并在最佳狀態(tài)下顯示峰值大塊帶寬。 這對于 Graid 來說并不那么重要，它可以處理不同的塊大小而不會影響性能。

服務(wù)器：超微 AS-2125HS-TNR
CPU：2 個 AMD EPYC 9654 96 核處理器 x 2
內(nèi)存：24 個三星 M321R2GA3BB6-CQKVS DDR5 4800 MT/s 16GB x 24
NVMe 驅(qū)動器：24 個鎧俠 CM7-R 3.84T KCMY1RUG3T84 x 24
RAID 控制器：SupremeRAID SR-1010
SupremeRAID Driver: 1.5.0-659.g10e76f72.010
Linux 操作系統(tǒng)：Ubuntu 22.04.1 LTS

比較軟件 RAID 和 Graid 的性能令人大開眼界。 就峰值帶寬而言，我們最終在評估期間將 mdadm 塊大小從 4K 增加到 64K 和 512K，因為在 4K 時，峰值讀取帶寬較低。 Mdadm 總體來說不是很好，但最高的順序讀取速度是在 64K 塊大小中，測量為 279GB/s，與 Graid RAID 配置的速度相匹配。 在64K塊大小的情況下，是軟RAID最快的速度配置，軟 RAID的順序?qū)懭胄阅茏罡呖蛇_3.51GB/s，盡管這與Graid的148GB/s相比根本不算什么。

比較64K 的大塊隨機寫入傳輸速度時，軟件RAID 的速度范圍為 627MB/s 到 822MB/s，而 Graid 則將其從水中脫穎而出，測量為 30.2GB/s。

最后，在隨機4K傳輸速度方面，我們在4K塊大小時測量了最高的軟RAID性能，在延遲時間為1.1ms時測量了5.6M IOPS。在同樣的測試中，Graid的IOPS達到了令人印象深刻的28.5M IOPS，延遲時間僅為0.22ms。4K寫速度的測試中軟RAID在64K塊上顯示出最佳的性能，即在延遲時間為15.01ms下測量到205k IOPS，而在GRAID的測試中測量2.02M IOPS延遲時間為 1.52ms。

總結(jié)

我們已經(jīng)測試過了幾乎所有現(xiàn)代實現(xiàn) RAID的解決方案 ，從專用硬件卡到各種基于軟件的解決方案。 我們還在三種不同的 GPU 以及各種 SSD 介質(zhì)類型和 NVMe 接口上多次測試了 Graid 解決方案。 公平地說，許多數(shù)據(jù)集（例如備份和恢復(fù)、大型數(shù)據(jù)湖、文件共享以及許多其他沒有嚴格性能要求的數(shù)據(jù)集）都會對這些解決方案感到非常滿意。 但如果應(yīng)用程序需要完全訪問底層閃存，Graid 就完全在另一個層面上發(fā)揮作用。

雖然大多數(shù)客戶看到 NVMe 硬件并認為無論如何性能都會很棒，但重要的是要了解這些系統(tǒng)在硬盤組合后將如何執(zhí)行，然后在其之上添加 RAID 層。 在 Linux 環(huán)境中，軟件 RAID 在跟上 NVMe 設(shè)備（尤其是 Gen5 SSD）方面確實顯示出其局限性。

雖然單個硬盤的性能很強，但并非所有RAID解決方案都是最適合的。通過比較優(yōu)化配置，Graid在24塊KIOXIA CM7-R Gen5 ssd上提供了超過279GB/s的讀取和148GB/s的寫入帶寬，而軟 RAID的讀取和寫入帶寬分別為279GB/s和3.51GB/s。在4K隨機讀寫測試中，我們看到了令人難以置信的28.5M IOPS讀取和2.02M? IOPS寫入，而軟 RAID僅提供5.6M IOPS讀取和205k IOPS寫入。對于某些環(huán)境，軟 RAID可能“足夠快”，但對于那些要求最高性能水平的環(huán)境，它幾乎無法與Graid的SupremeRAID相比。
?
為了最大限度地提高像這樣的單個主機中的 NVMe SSD 性能，我們在市場上還沒有看到任何可以與 Graid SupremeRAID Gen5 解決方案的產(chǎn)品競爭。 在本次測試中，我們在廉價的 NVIDIA A2000 GPU 上完成了這項工作。 任何希望最大化 Gen5 閃存投資的組織都應(yīng)該明智地采用 Graid PoC，以了解其技術(shù)的影響力。
?