天翼云實(shí)現(xiàn)國內(nèi)SMR技術(shù) 或成存儲(chǔ)市場(chǎng)新突破口

1.SMR技術(shù)的前世今生當(dāng)下大數(shù)據(jù)的爆發(fā)式增長使得原有的存儲(chǔ)容量無法滿足用戶需求，SMR（疊瓦式磁記錄）技術(shù)由此誕生。由于垂直磁記錄技術(shù)（Perpendicular Magnetic Recording）已經(jīng)逐漸達(dá)到存儲(chǔ)密度極限，單位存儲(chǔ)密度受限，已經(jīng)嚴(yán)重制約云存儲(chǔ)的應(yīng)用范圍與應(yīng)用效果。同樣的磁記錄技術(shù)，通過疊加SMR技術(shù)，可以提升15%-25%的磁道密度，進(jìn)一步降低單位GB成本，目前SMR盤單盤容量已經(jīng)達(dá)到14TB，預(yù)計(jì)2018年下半年硬盤廠商會(huì)發(fā)布18TB SMR盤，其容量是企業(yè)市場(chǎng)主流使用的8TB SATA/NL_SAS盤的2倍左右。

SMR盤利用磁盤讀數(shù)據(jù)時(shí)需要的磁道寬度比寫數(shù)據(jù)時(shí)需要的磁道寬度窄的特點(diǎn)，在寫數(shù)據(jù)時(shí)將磁道像疊瓦片一樣，一層一層的重疊起來。SMR技術(shù)通過重疊磁道，縮小了磁道間距離，提高了單位面積存儲(chǔ)密度，增加了磁盤容量（如圖1）。

2. 天翼云OOS KVDisker成功突破SMR技術(shù)瓶頸目前SMR技術(shù)已成功應(yīng)用在中國電信天翼云OOS（對(duì)象存儲(chǔ)）產(chǎn)品系列中，并在天翼云OOS第五代存儲(chǔ)產(chǎn)品中進(jìn)行了規(guī)模商用，其成熟度得到了實(shí)踐證明。同時(shí)，天翼云計(jì)劃在OOS第六代（國家級(jí)存儲(chǔ)網(wǎng)絡(luò)）中更大規(guī)模的使用。據(jù)業(yè)內(nèi)磁盤廠商了解，天翼云或是國內(nèi)第一家商用SMR技術(shù)的公司，成為存儲(chǔ)領(lǐng)域創(chuàng)新應(yīng)用的標(biāo)桿案例。

1)SMR技術(shù)存在的局限與面臨的挑戰(zhàn)SMR技術(shù)增加了容量，降低了成本，但這種技術(shù)應(yīng)用也帶來了問題與挑戰(zhàn)。磁道重疊后必須順序?qū)懭?，否則會(huì)對(duì)相鄰磁道的數(shù)據(jù)造成損壞。正因?yàn)槿绱?，目前業(yè)內(nèi)常用的磁盤文件系統(tǒng)，例如EXT/XFS等，由于需要隨機(jī)的修改數(shù)據(jù)從而無法運(yùn)行在SMR磁盤上，這對(duì)SMR的應(yīng)用帶來了不小的困難。據(jù)業(yè)內(nèi)人士表示，目前僅有微軟Azure等極個(gè)別國際云計(jì)算巨頭有足夠的技術(shù)規(guī)模商用SMR磁盤。

應(yīng)用SMR磁盤主要存在以下幾個(gè)方面的問題：

1、若采用Drive Managed SMR模式，在磁盤內(nèi)部實(shí)現(xiàn)順序?qū)懭?，?yīng)用不需做任何修改。由于上層業(yè)務(wù)寫請(qǐng)求是隨機(jī)的，磁盤固件資源有限，性能無法保證，幾乎無法滿足業(yè)務(wù)需求，只適用于寫入后不再修改的歸檔數(shù)據(jù)，無法用于OOS標(biāo)準(zhǔn)存儲(chǔ)。據(jù)業(yè)內(nèi)人士透露，曾有公司為了降低成本但又不想投入研發(fā)使用此類磁盤，導(dǎo)致性能過低，最終放棄使用。

2、若采用Host Managed SMR模式，將磁盤分為若干個(gè)Zone，Zone之間可以隨機(jī)寫，Zone內(nèi)部必須順序?qū)憽ost Managed SMR將Zone管理接口提供給主機(jī)，由主機(jī)保證數(shù)據(jù)的順序?qū)懭?。由于引入了新的磁盤類型、新的管理命令，所以沒有現(xiàn)成的文件系統(tǒng)可以支持，需要對(duì)文件系統(tǒng)進(jìn)行修改或重新開發(fā)新的文件系統(tǒng)。目前還沒有成熟的文件系統(tǒng)實(shí)現(xiàn)了對(duì)Host Managed SMR磁盤的兼容。

3、在操作系統(tǒng)內(nèi)核和HBA卡的兼容上需要進(jìn)行嚴(yán)格的測(cè)試。不兼容的系統(tǒng)可能無法識(shí)別SMR磁盤，不兼容的HBA可能導(dǎo)致磁盤收到的SCSI命令亂序，進(jìn)而導(dǎo)致寫入失敗。

4、垃圾回收（Garbage Collection，以下簡稱GC）：SMR磁盤要求順序?qū)懭霂淼膯栴}是刪除的空間不能直接重新利用，必須把有效數(shù)據(jù)移動(dòng)到其他位置才能回收空間。GC會(huì)帶來寫放大，影響性能。如何合理的設(shè)計(jì)空間分配及回收算法以減少不必要的數(shù)據(jù)移動(dòng)是SMR最終是否可用的一大挑戰(zhàn)。

5、數(shù)據(jù)重構(gòu)時(shí)間久：超大容量硬盤，一旦出現(xiàn)故障，其數(shù)據(jù)重構(gòu)時(shí)間將非常漫長，如果數(shù)據(jù)重構(gòu)期間又有磁盤損壞，對(duì)于副本數(shù)較少的對(duì)象來說可能會(huì)造成數(shù)據(jù)丟失。

2）天翼云OOS如何突破SMR技術(shù)瓶頸？雖然SMR磁盤的應(yīng)用存在諸多技術(shù)挑戰(zhàn)，但通過行業(yè)領(lǐng)先廠商的產(chǎn)品趨勢(shì)，我們能看到未來硬盤的發(fā)展方向，SMR技術(shù)將成為主流，即使未來會(huì)有諸如HAMR等進(jìn)一步提升磁密度的技術(shù)出現(xiàn)，只要寫數(shù)據(jù)寬度大于讀數(shù)據(jù)寬度，SMR技術(shù)就會(huì)一直存在。同時(shí)，與SMR所對(duì)應(yīng)的“順序?qū)憽被蛟S是未來的一種趨勢(shì)，因?yàn)楣虘B(tài)盤也需要類似的機(jī)制對(duì)閃存顆粒的磨損進(jìn)行平滑處理。因此天翼云OOS的研發(fā)團(tuán)隊(duì)從2015年起就堅(jiān)定不移的對(duì)Host Managed SMR進(jìn)行自主研發(fā)。

KVDisker在OOS系統(tǒng)中的位置如圖2所示。其中，(1)Object層負(fù)責(zé)協(xié)議的解析及對(duì)象屬性的保存；(2)Ostor層負(fù)責(zé)對(duì)象的冗余保證；(3)KVDisker負(fù)責(zé)讀寫磁盤：對(duì)上層業(yè)務(wù)，KVDisker直接提供Key-Value API，可以很容易的接入到OOS現(xiàn)有系統(tǒng)中；對(duì)下層磁盤，KVDisker直接管理PMR和SMR磁盤，不需要文件系統(tǒng)。

綜上所述，KVDisker針對(duì)SMR磁盤應(yīng)用中可能遇到的兼容性問題、性能問題、垃圾回收效率問題、下盤速度問題進(jìn)行了針對(duì)性優(yōu)化。

2.1?兼容性

天翼云聯(lián)合廠商對(duì)主流的HBA卡進(jìn)行了嚴(yán)格的測(cè)試。針對(duì)可能存在的SCSI命令亂序問題，通過在應(yīng)用層順序分配空間來保證指令的順序發(fā)送。

2.2?性能

在性能方面，天翼云從元數(shù)據(jù)、數(shù)據(jù)、空間分配三個(gè)維度，全面的提升了讀取、寫入、遍歷、檢索的效率。

1、元數(shù)據(jù)：對(duì)比文件系統(tǒng)大而全的元數(shù)據(jù)結(jié)構(gòu)，KVDisker的元數(shù)據(jù)僅保存了時(shí)間戳、數(shù)據(jù)位置、校驗(yàn)值等必要的數(shù)據(jù)，這樣KVDisker的元數(shù)據(jù)很小，大大的提高了檢索效率。

2、元數(shù)據(jù)保存：文件系統(tǒng)的元數(shù)據(jù)保存在磁盤的各個(gè)位置，導(dǎo)致遍歷文件慢。KVDisker的元數(shù)據(jù)有序的保存在磁盤的傳統(tǒng)區(qū)域，在特定測(cè)試環(huán)境下，遍歷效率比文件系統(tǒng)提升10倍。

3、元數(shù)據(jù)讀取：KVDisker讀取元數(shù)據(jù)只需要一次請(qǐng)求，不需要查找目錄，提高了讀取效率。

4、空間分配：KVDisker順序的分配空間，充分利用了磁盤順序?qū)懭肟斓奶匦裕嵘龑懭胨俣取?/p>

5、數(shù)據(jù)讀?。篕VDisker直接發(fā)送SCSI指令讀取數(shù)據(jù)，對(duì)超長的數(shù)據(jù)并行發(fā)送多條SCSI指令，充分利用磁盤請(qǐng)求隊(duì)列，優(yōu)化讀取速度。