圖片處理能力提升50%，杉巖智能存儲是如何做到的？

一提到對象存儲，大家多半會聯(lián)想到“存儲海量文件”。但隨著近幾年大數(shù)據(jù)、云計算等應(yīng)用場景的廣泛部署，客戶對業(yè)務(wù)的敏捷性要求越來越高，盡可能地精簡業(yè)務(wù)處理流程、提高業(yè)務(wù)處理效率變得更加重要。面對這些需求變化，身處幕后的存儲設(shè)備已經(jīng)不能僅僅局限于“存儲”這個基本要求。一些領(lǐng)先的對象存儲廠商已經(jīng)開始思考，如何將原本外置的業(yè)務(wù)處理能力集成到存儲上來，讓存儲做“更多事情”，結(jié)合業(yè)務(wù)需求來賦能應(yīng)用，幫助客戶實(shí)現(xiàn)更大價值。

為了滿足部分客戶在海量圖片處理場景下對業(yè)務(wù)敏捷性和處理效率的要求，SandStone MOS在V5.4版本中新增圖片處理功能，使圖片處理的全業(yè)務(wù)流程均在對象存儲內(nèi)部完成，讓流程處理從“繁瑣低效”走向“簡潔高效”。本文即對該特性進(jìn)行專題解讀。

一、圖片處理業(yè)務(wù)導(dǎo)致海量數(shù)據(jù)高吞吐

隨著各類企業(yè)文檔、圖片和音視頻等非結(jié)構(gòu)化文件的數(shù)量逐步從千萬級快速增長至數(shù)億級別，并呈現(xiàn)持續(xù)的指數(shù)級爆炸式增長，分布式對象存儲已逐步替代傳統(tǒng)NAS存儲，成為當(dāng)今企業(yè)內(nèi)非結(jié)構(gòu)化數(shù)據(jù)存儲的標(biāo)配。非結(jié)構(gòu)化數(shù)據(jù)（尤其是圖片文件），通常與企業(yè)的業(yè)務(wù)流程緊密相關(guān)。比如銀行的購房貸款審批業(yè)務(wù)，購房者提交的申請材料通常包含身份證、戶口本、個人收入證明及購房合同等各類文件的掃描件，并以圖片的形式長期存檔。整個審批流程包含了對圖片的各種處理需求，比如通過縮略圖來提高瀏覽效率、通過打水印以便于追溯圖片來源，以及通過調(diào)整圖片尺寸來適配不同客戶端顯示規(guī)格等。若要滿足客戶對圖片存儲、提取、處理這一系列需求，目前普通的對象存儲系統(tǒng)是如何實(shí)現(xiàn)的呢？

圖1.基于普通對象存儲的圖片處理業(yè)務(wù)架構(gòu)

如圖1所示，普通的對象存儲系統(tǒng)僅提供圖片文件的存儲服務(wù)，當(dāng)業(yè)務(wù)系統(tǒng)需要獲取處理后的圖片（如縮略圖）時，大致需要經(jīng)歷以下4個步驟：

1.??????業(yè)務(wù)應(yīng)用向?qū)ο蟠鎯Πl(fā)送讀取原始圖片的請求

2.??????業(yè)務(wù)應(yīng)用下載原始圖片到業(yè)務(wù)服務(wù)器

3.??????業(yè)務(wù)應(yīng)用上傳原始圖片到圖片處理系統(tǒng)以請求縮略圖

4.??????業(yè)務(wù)應(yīng)用獲取圖片處理系統(tǒng)返回的原始圖片的縮略圖

顯而易見，整個過程中存儲系統(tǒng)和圖片處理系統(tǒng)要進(jìn)行頻繁交互。當(dāng)業(yè)務(wù)實(shí)際上線運(yùn)行后，由于原始圖片一般為高分辨率、高清晰度的大文件，上述步驟2和步驟3通常會給業(yè)務(wù)網(wǎng)絡(luò)帶來巨大的流量壓力，占用大量的網(wǎng)絡(luò)帶寬；另外因?yàn)榱鞒滩襟E較多，這也會增加系統(tǒng)響應(yīng)時間，導(dǎo)致客戶訪問體驗(yàn)很差。

如上所述，對象存儲系統(tǒng)與圖片處理系統(tǒng)各自獨(dú)立，前者只負(fù)責(zé)“存”，后者只負(fù)責(zé)“處理”，而且中間的“提取”過程效率低下。對用戶而言，這顯然不是最佳的解決方案。

杉巖基于多年行業(yè)實(shí)踐，準(zhǔn)確地捕捉到了這一長期存在的痛點(diǎn)，并提出了針對性的解決方法。

圖2.基于SandStone MOS的圖片處理業(yè)務(wù)架構(gòu)

如圖2所示，SandStone MOS通過在對象存儲系統(tǒng)內(nèi)部集成圖片處理功能，省去了圖片處理過程中將原始圖片在業(yè)務(wù)網(wǎng)絡(luò)上來回拷貝的過程。這樣做的好處是：既免除了對業(yè)務(wù)網(wǎng)絡(luò)的帶寬壓力、提升了系統(tǒng)響應(yīng)速度和交互體驗(yàn)；還能夠充分發(fā)揮存儲節(jié)點(diǎn)富余的CPU資源的計算能力，確保存儲性能的高效利用。

二、集成圖片處理能力，提升存儲智能化

既然了解了SandStone MOS在圖像處理方面的獨(dú)到之處，那么，它是如何實(shí)現(xiàn)的呢？

圖3.SandStone MOS圖片處理業(yè)務(wù)架構(gòu)的實(shí)現(xiàn)方式

如圖3所示，SandStone MOS存儲系統(tǒng)最底層為通用的服務(wù)器硬件，OSD負(fù)責(zé)管理服務(wù)器上的每個存儲硬盤，對象存儲網(wǎng)關(guān)負(fù)責(zé)S3對象存儲接口的邏輯封裝以及與OSD的數(shù)據(jù)進(jìn)行讀寫交互，負(fù)載均衡器負(fù)責(zé)實(shí)現(xiàn)業(yè)務(wù)讀寫請求在多個對象存儲網(wǎng)關(guān)間的負(fù)載均衡路由及高可用。

當(dāng)業(yè)務(wù)應(yīng)用經(jīng)過S3 SDK發(fā)送讀寫請求到負(fù)載均衡器時，負(fù)載均衡器根據(jù)指定的路由算法（如輪詢）將請求分配到對應(yīng)的對象存儲網(wǎng)關(guān)，對象存儲網(wǎng)關(guān)再與OSD交互完成數(shù)據(jù)的讀寫。

此外，SandStone MOS的對象存儲網(wǎng)關(guān)模塊除了提供S3對象訪問協(xié)議，還支持常用的圖片處理功能，主要包括圖片轉(zhuǎn)碼、圖片壓縮、縮略圖及圖片文字水印，具體規(guī)格如下。

1.? 圖片轉(zhuǎn)碼接口支持將圖片轉(zhuǎn)換成JPG、PNG、BMP、WEBP、GIF、TIFF等格式

2.? 圖片壓縮接口支持 JPEG、PNG 格式。瘦身后畫質(zhì)不變，分辨率不變，格式不變，文件體積大幅縮小

3.? 縮略圖接口支持圖片格式轉(zhuǎn)換、縮略、剪裁功能。只需要填寫幾個參數(shù)，即可對圖片進(jìn)行縮略操作，生成各種縮略圖，接口可支持處理的原圖片格式包括：PSD、JPG、PNG、BMP、WEBP、GIF、TIFF

4.? 文字水印接口支持圖片類型包括：JPEG、PNG、PSD、GIF、TIFF、BMP

當(dāng)對象存儲系統(tǒng)集成了圖片處理功能后，業(yè)務(wù)應(yīng)用通過標(biāo)準(zhǔn)的S3訪問入口，即可完成圖片的存儲和處理過程，業(yè)務(wù)應(yīng)用只需要在原有的S3讀取接口增加相應(yīng)的圖片處理參數(shù)，就能獲取處理后的圖片。

三、媒體處理能力提升50%，幫助客戶提升效益

簡化業(yè)務(wù)架構(gòu)，降低硬件成本

在普通對象存儲的業(yè)務(wù)架構(gòu)中，因?yàn)閷ο蟠鎯ψ陨聿恢С謭D片處理功能，圖片的存儲和處理分別需要訪問對象存儲服務(wù)地址和圖片服務(wù)地址，這導(dǎo)致業(yè)務(wù)邏輯需要針對兩套系統(tǒng)做復(fù)雜的邏輯處理，業(yè)務(wù)處理的效率低下。通過使用SandStone MOS分布式對象存儲系統(tǒng)，業(yè)務(wù)應(yīng)用只需要維護(hù)一個訪問地址和SDK就可以，整體架構(gòu)得到了極大的簡化，有效精簡了IT設(shè)備，降低硬件成本。

釋放網(wǎng)絡(luò)帶寬壓力，保障性能穩(wěn)定

SandStone MOS通過在對象存儲系統(tǒng)內(nèi)部集成圖片處理功能，省去了圖片處理過程中需要將原始圖片在業(yè)務(wù)網(wǎng)絡(luò)上來回拷貝的過程，減少了業(yè)務(wù)網(wǎng)絡(luò)的帶寬壓力，避免了由于帶寬擠占導(dǎo)致其他業(yè)務(wù)系統(tǒng)訪問卡頓甚至癱瘓的風(fēng)險，有效保障性能的持續(xù)穩(wěn)定。

極大縮短圖片處理請求時間，讓業(yè)務(wù)更敏捷

由于避免了跨業(yè)務(wù)網(wǎng)絡(luò)訪問，即省去了原始圖片在存儲系統(tǒng)和圖片處理系統(tǒng)間的交互過程，圖片在SandStone MOS內(nèi)部可就近完成處理任務(wù)。對比普通對象存儲的方案，在相同算力的前提下，SandStone MOS的圖片處理整體效率可以提升高達(dá)50%以上，極大的保障了業(yè)務(wù)敏捷性，幫助客戶從容應(yīng)對海量圖片場景下的快速處理需求。

充分發(fā)揮富余CPU算力，提高硬件利用率

一般在業(yè)務(wù)壓力比較低的場景下，或是出于對存儲系統(tǒng)擴(kuò)展性規(guī)劃的考慮，服務(wù)器硬件的CPU資源利用率通常只有20%-30%左右，SandStone MOS的圖片處理業(yè)務(wù)架構(gòu)不僅可以減少跨網(wǎng)絡(luò)的數(shù)據(jù)拷貝，提升圖片處理效率，還能夠充分發(fā)揮存儲節(jié)點(diǎn)上富余CPU資源的計算能力，確保多業(yè)務(wù)場景下有充足的算力保障。

SandStone MOS通過集成圖片處理功能，在便捷存儲海量文件的同時，讓圖片處理的全業(yè)務(wù)流程在對象存儲內(nèi)部完成，避免了傳統(tǒng)方案中存儲與圖片處理系統(tǒng)的頻繁交互，不僅能很好地完成“存儲”這一基本要求，還能結(jié)合場景需求，在存儲內(nèi)部高效完成圖片處理過程，幫助用戶實(shí)現(xiàn)更大價值。