如何利用Intel的傲騰技術(shù)和CPU提升Ceph性能

Ceph是最常見的塊和對象存儲后端解決方案，現(xiàn)在新版本也加入了文件的支持。作為一款開源的分布式存儲軟件解決方案，由于其功能豐富，社區(qū)活躍，它在公有云和私有云環(huán)境中有著廣泛的應(yīng)用。

然而，由于Ceph的大規(guī)模分布式架構(gòu)原因，其IO路徑過長，使得其性能一直被業(yè)界所詬病。現(xiàn)實(shí)中，Ceph更多用在備份和歸檔等性能要求不高的場景。在這種場景下，一般存儲介質(zhì)采用HDD，很少采用全閃存的配置。

伴隨著固態(tài)盤（SSD）價(jià)格的不斷走低，云提供商紛紛開始著手為客戶打造具備卓越性能和高可靠性的全閃存存儲。為此，他們迫切希望獲得基于 Ceph 的全閃存參考架構(gòu)，并了解具體的性能表現(xiàn)和最佳優(yōu)化實(shí)踐。

英特爾? 傲騰? 技術(shù)前所未有地集高吞吐量、低延遲、高服務(wù)質(zhì)量和高耐用性優(yōu)勢于一身，它由 3D XPoint? 內(nèi)存介質(zhì)和英特爾? 軟件等組合而成。這些構(gòu)建模塊相互配合，配合至強(qiáng)可擴(kuò)展處理器，在降低延遲和加速系統(tǒng)性能方面實(shí)現(xiàn)了具體提升，能夠全面滿足工作負(fù)載對于大容量和快速存儲的需求。

本篇文章將圍繞 Ceph 全閃存存儲系統(tǒng)參考架構(gòu)和基于英特爾? 至強(qiáng)? 可擴(kuò)展處理器的軟件優(yōu)化等方面，介紹Intel所取得的進(jìn)展。在本文中，將重點(diǎn)為您介紹Ceph 參考架構(gòu)和性能結(jié)果，該架構(gòu)的配置包括 RADOS 塊設(shè)備（RBD）接口、英特爾? 傲騰? 技術(shù)和英特爾? 至強(qiáng)? 可擴(kuò)展處理器產(chǎn)品家族（英特爾? 至強(qiáng)? 鉑金 8180 處理器和英特爾? 至強(qiáng)? 金牌 6140 處理器）。

我們先介紹采用英特爾? 傲騰? 技術(shù)和英特爾? 至強(qiáng)? 可擴(kuò)展處理器的 Ceph 全閃存陣列（AFA）參考架構(gòu)，然后介紹典型工作負(fù)載的性能結(jié)果和系統(tǒng)特性。

Intel建議Ceph AFA采用英特爾? 至強(qiáng)? 鉑金 8180 處理器，它是英特爾? 至強(qiáng)? 可擴(kuò)展處理器產(chǎn)品家族中先進(jìn)的處理器。建議使用英特爾? 傲騰? 固態(tài)盤（SSD）作為BlueStore WAL(Write-Ahead Logging) 設(shè)備，使用基于 NAND 固態(tài)盤作為數(shù)據(jù)硬盤，并使用 Mellanox 40 GbE 網(wǎng)絡(luò)接口卡（NIC）作為高速以太網(wǎng)數(shù)據(jù)端口，具備最高性能（吞吐量和延遲）。它是 I/O 密集型工作負(fù)載的最佳選擇。

測試系統(tǒng)由五個(gè)Ceph存儲服務(wù)器和五個(gè)客戶端節(jié)點(diǎn)組成。每個(gè)存儲節(jié)點(diǎn)配置Intel Xeon Platinum 8180處理器和384 GB內(nèi)存，使用1x Intel Optane SSD DC P4800X 375GB作為BlueStore WAL設(shè)備，4x Intel? SSD DC P3520 2TB作為數(shù)據(jù)驅(qū)動器，以及2x Mellanox 40 GbE NIC作為Ceph的獨(dú)立集群和公共網(wǎng)絡(luò)。

同時(shí)，每個(gè)節(jié)點(diǎn)均使用 Ceph 12.2.2，并且每個(gè)英特爾? 固態(tài)盤 DC P3520 系列運(yùn)行一個(gè)對象存儲守護(hù)程序（OSD）。用于測試的 RBD 池配置有 2 個(gè)副本。

對于客戶端，每個(gè)節(jié)點(diǎn)配置了英特爾? 至強(qiáng)? 鉑金 8180 處理器、384 GB 內(nèi)存和 1 個(gè) Mellanox 40GbE NIC。

Intel設(shè)計(jì)了四種不同的工作負(fù)載來模擬云中典型的全閃存 Ceph 集群（基于帶 librbd 的 fio），其中包括 4K 隨機(jī)讀寫和 64K 順序讀寫，以分別模擬隨機(jī)工作負(fù)載和順序工作負(fù)載。對于每個(gè)測試用例，IO 性能（IOPS 或帶寬）使用卷擴(kuò)展數(shù)量（最大擴(kuò)展到 100）來衡量，每個(gè)卷配置為 30 GB。這些卷已預(yù)先分配，以消除 Ceph 精簡配置機(jī)制的影響，獲得穩(wěn)定且可復(fù)制的結(jié)果。每次測試之前停止 OSD 頁高速緩存，以消除頁高速緩存的影響。在每個(gè)測試用例中，fio 配置了 300 秒的準(zhǔn)備時(shí)限和 300 秒的數(shù)據(jù)采集時(shí)限。

4K隨機(jī)寫特性

用戶空間消耗的CPU利用率為37％，占CPU總利用率的75％。分析結(jié)果顯示Ceph OSD過程消耗了大部分CPU周期; CPU還有空間的可疑原因是軟件線程和鎖定模型實(shí)現(xiàn)限制了Ceph在單個(gè)節(jié)點(diǎn)上的擴(kuò)展能力，這仍然是下一步優(yōu)化工作。

4K隨機(jī)寫入的系統(tǒng)指標(biāo)

4K隨機(jī)讀取特性

CPU利用率約為60％，其中IOWAIT約占15％，因此實(shí)際CPU消耗也約為45％;類似于隨機(jī)寫例。OSD磁盤的讀取IOPS非常穩(wěn)定在80K，40 GBbE NIC帶寬約為2.1 GB/s。沒有觀察到明顯的硬件瓶頸;疑似軟件瓶頸類似于4K隨機(jī)寫入案例，需要進(jìn)一步調(diào)查。

4K隨機(jī)讀取的系統(tǒng)指標(biāo)

64K順序?qū)懭胩匦?/p>

順序?qū)懭氲腃PU利用率和內(nèi)存消耗非常低。由于OSD復(fù)制數(shù)為2，因此NIC數(shù)據(jù)的傳輸帶寬是接收帶寬的兩倍，傳輸帶寬包括兩個(gè)NIC的帶寬，一個(gè)用于公共網(wǎng)絡(luò)，一個(gè)用于群集網(wǎng)絡(luò)，每個(gè)NIC大約1.8 GB /每個(gè)端口。OSD磁盤AWAIT時(shí)間受到嚴(yán)重波動，最高磁盤延遲超過4秒，而磁盤IOPS非常穩(wěn)定。

64K順序?qū)懭氲南到y(tǒng)指標(biāo)

64K順序讀取特性

對于順序讀取案例，我們觀察到一個(gè)NIC的帶寬達(dá)到4.4 GB/s，約占總帶寬的88％。順序?qū)懭氲腃PU利用率和內(nèi)存消耗非常低。OSD磁盤讀取IOPS和延遲穩(wěn)定。

64K順序讀取的系統(tǒng)指標(biāo)

總體來看，基于英特爾Optane技術(shù)的Ceph AFA集群展示了出色的吞吐量和延遲。64K順序讀寫吞吐量分別為21,949 MB/s和8,714 MB/s（最大為40 GbE NIC）。4K隨機(jī)讀取吞吐量為2,453K IOPS，平均延遲為5.36 ms，而4K隨機(jī)寫入吞吐量為500K IOPS，平均延遲為12.79 ms。

其實(shí)自從Ceph Giant發(fā)布以來，英特爾一直與社區(qū)，生態(tài)系統(tǒng)和合作伙伴密切合作，一直優(yōu)化Ceph的性能。下圖顯示了Ceph主要版本和不同Intel平臺上4K隨機(jī)寫入工作負(fù)載的性能優(yōu)化歷史記錄。憑借新的Ceph主要版本，后端存儲，結(jié)合核心平臺變化和SSD升級，單個(gè)節(jié)點(diǎn)的4K隨機(jī)寫入性能提高了27倍（每個(gè)節(jié)點(diǎn)每秒輸入/輸出操作3,673次（IOPS）至每個(gè)節(jié)點(diǎn)100,052 IOPS）！這使得使用Ceph構(gòu)建高性能存儲解決方案成為可能。

在本文中，我們在英特爾至強(qiáng)可擴(kuò)展處理器上看到了采用Ceph AFA參考架構(gòu)的英特爾Optane技術(shù)的性能結(jié)果。此配置展示了出色的吞吐量和延遲。除了延遲比傳統(tǒng)的高端存儲有些差距外，帶寬和IOPS都達(dá)到了高端存儲的水平。

對于讀取密集型工作負(fù)載，尤其是小塊讀，對CPU性能要求比較高，建議使用英特爾至強(qiáng)可擴(kuò)展處理器系列的頂級處理器，例如英特爾至強(qiáng)鉑金8000系列處理器。與采用英特爾至強(qiáng)可擴(kuò)展處理器上的Ceph AFA集群的默認(rèn)配置的英特爾Optane技術(shù)相比，軟件調(diào)優(yōu)和優(yōu)化還為讀取和寫入提供了高達(dá)19％的性能提升。由于使用當(dāng)前的硬件配置可以觀察到硬件性能還有凈空，因此性能有望在不久的將來通過持續(xù)的Ceph優(yōu)化（如RDMA messenger，NVMe-focus對象存儲，async-osd等）不斷改進(jìn)。

相信有了Intel至強(qiáng)可擴(kuò)展處理器和傲騰技術(shù)的支持，加上Ceph不斷優(yōu)化，未來Ceph的性能將會更好，Ceph也將越來越多用于主存儲場景，而不僅僅是目前聚焦的第二存儲場景。