Memblaze保障存儲系統(tǒng)服務質(zhì)量的核心技術及研發(fā)理念進行了解讀

存儲服務質(zhì)量不是一個單點問題。從系統(tǒng)的角度考慮服務質(zhì)量的智能存儲將成為未來的重要的方面。Memblaze CTO在日知錄主辦的2018日知錄數(shù)據(jù)智能峰會上的分享開始就闡述了保障數(shù)據(jù)中心存儲系統(tǒng)服務質(zhì)量的觀點，并在演講中介紹了Memblaze保障存儲系統(tǒng)服務質(zhì)量的核心技術及研發(fā)理念進行了解讀。

Memblaze CTO路向峰

路向峰分析了Flash技術給數(shù)據(jù)中心基礎架構(gòu)帶來的影響，他指出：“NAND Flash給存儲系統(tǒng)帶來新機會的同時，也對于傳統(tǒng)存儲架構(gòu)帶來挑戰(zhàn)。需要調(diào)整軟件架構(gòu)來釋放Flash的能力。需要從單個存儲部件、存儲網(wǎng)絡依賴關系和針對用戶業(yè)務壓力的優(yōu)化三個方面考慮，提升系統(tǒng)的服務質(zhì)量?！?/p>

在SSD內(nèi)部，由于Garbage Collection和Flash Erase等后臺任務的存在，在用戶隨機寫工況下，系統(tǒng)的服務質(zhì)量容易變差。為了定量研究這一情況，可以利用GMM概率模型對于IO寫入的服務時間建模，并采用排隊理論進行分析和仿真。根據(jù)該理論，采用寫路徑增加緩沖資源并根據(jù)負載情況調(diào)整緩沖區(qū)延遲策略可以改善和優(yōu)化寫工況下的服務質(zhì)量。Memblaze針對幾種不同的方案做了大量的仿真測試，并證實了上述幾種方案對寫延遲的降低效果。

原始方案與改進方案在平均延時、5x9和8x9延遲的比較

由于讀延遲直接影響著最終用戶的體驗，所以從SSD到系統(tǒng)對于讀的優(yōu)化研究也至關重要。通常Flash的帶寬遠超存儲接口帶寬，不構(gòu)成讀的性能瓶頸，但是在讀寫混合的工況下，由于讀命令受到寫命令或擦除命令的干擾，服務質(zhì)量容易變差，這里的寫和擦除命令可能來自于業(yè)務壓力，也有可能是SSD內(nèi)部的Garbage collection和Flash Erase等后臺任務。目前針對SSD讀延遲的優(yōu)化技術主要有Flash讀命令優(yōu)先；協(xié)商讀數(shù)據(jù)恢復等級及多副本優(yōu)化以及存儲系統(tǒng)優(yōu)化讀寫分時復用和空間隔離。

在具體實現(xiàn)上，Memblaze設計了更為復雜的算法，規(guī)避介質(zhì)的缺陷等因素，并能夠針對具體的業(yè)務壓力，使SSD在響應服務平均時間和中斷服務質(zhì)量間找到平衡。

從存儲系統(tǒng)的層面同樣有多重技術可以用于改善Flash的讀延遲，比如在采用了多副本技術或者是糾刪碼的存儲系統(tǒng)中，就可以通過存儲系統(tǒng)與設備進行協(xié)商，從多個數(shù)據(jù)獲取方式中選擇最佳延遲的方案進行讀取數(shù)據(jù)、出錯處理等操作，提升系統(tǒng)整體的服務質(zhì)量。

在新的NVMe協(xié)議中，將提供了Predictable Latency Mode和NVM Sets的新接口能力，分別提供了時間和空間的隔離能力，分時復用和空間隔離要求頂層考慮使用Flash的行為加以限制，避免同時對同一個位置同時讀寫。

存儲系統(tǒng)優(yōu)化讀寫分時復用和空間隔離

在演講的最后，路向峰談到了基于AI的面向服務質(zhì)量的智能系統(tǒng)，他認為“為了能夠適應機器學習框架，需要把現(xiàn)有的存儲系統(tǒng)逐步調(diào)整成為任務處理層和策略優(yōu)化層。在任務處理層實現(xiàn)對于存儲具體業(yè)務的處理，而在策略優(yōu)化層，需要分析業(yè)務處理的性能和服務質(zhì)量，并將合適的策略反饋給任務處理層。這些數(shù)據(jù)可供機器學習算法訓練模型，在此基礎上逐漸迭代和優(yōu)化策略。”

提升用戶體驗是Memblaze工作的終極目標。針對不同的應用場景和工作負載， PBlaze系列NVMe SSD力求為用戶提供更加平穩(wěn)的高性能和更高的可靠性。多年實踐中，Memblaze不僅掌握了大量核心技術提升SSD性能穩(wěn)定性、壽命和可靠性，并且從設備到系統(tǒng)多個層面研究和驗證不同方案對于提升用戶體驗的效果。這些工作和成果不僅推動了閃存和NVMe技術的發(fā)展，更是數(shù)據(jù)中心生態(tài)演進和完善不可或缺的組成部分。