杉巖海量對(duì)象存儲(chǔ)（SandStone MOS）V5.4版本發(fā)布，新增/優(yōu)化多項(xiàng)功能

作為一家專注于產(chǎn)品自主研發(fā)的企業(yè)級(jí)存儲(chǔ)廠商，杉巖數(shù)據(jù)始終堅(jiān)持以客戶需求為導(dǎo)向，持續(xù)完善存儲(chǔ)產(chǎn)品及解決方案，通過(guò)版本迭代不斷豐富產(chǎn)品特性，不斷提升產(chǎn)品競(jìng)爭(zhēng)力。杉巖海量對(duì)象存儲(chǔ)（SandStone MOS）是面向企業(yè)級(jí)海量非結(jié)構(gòu)化數(shù)據(jù)的分布式對(duì)象存儲(chǔ)產(chǎn)品，經(jīng)過(guò)長(zhǎng)時(shí)間的產(chǎn)品打磨，SandStone MOS的功能特性越來(lái)越完善，與應(yīng)用場(chǎng)景的融合越來(lái)越深入，并在應(yīng)用實(shí)踐中持續(xù)贏得客戶的信賴。

為了進(jìn)一步滿足能源、金融、醫(yī)療等行業(yè)客戶的需求，SandStone MOS的新版本針對(duì)客戶關(guān)注的問(wèn)題進(jìn)一步完善了功能特性，并已于近期正式發(fā)布，本文即對(duì)該版本的價(jià)值特性進(jìn)行專題解讀。

1. 生命周期管理進(jìn)一步增強(qiáng)

標(biāo)簽精確控制的對(duì)象級(jí)生命周期管理

數(shù)據(jù)的生命周期管理是體現(xiàn)存儲(chǔ)智能化的重要特性之一，用戶根據(jù)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)特點(diǎn)，通過(guò)SandStone MOS實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、遷移、歸檔、刪除等管理操作。在某客戶的應(yīng)用場(chǎng)景中，業(yè)務(wù)應(yīng)用將多種業(yè)務(wù)的日志文件存儲(chǔ)到同一個(gè)桶內(nèi)，后期按照規(guī)定對(duì)過(guò)期的日志文件進(jìn)行刪除或者歸檔。但是，由于不同業(yè)務(wù)的日志文件過(guò)期時(shí)間不一樣，需要區(qū)分桶內(nèi)不同日志文件的過(guò)期時(shí)間，以便定期自動(dòng)刪除或者歸檔。而SandStone MOS原有的生命周期對(duì)象過(guò)濾方式只有兩種：一是對(duì)整個(gè)桶設(shè)定時(shí)間規(guī)則，到期將桶內(nèi)所有對(duì)象刪除或者歸檔；二是按照桶內(nèi)對(duì)象的前綴進(jìn)行正則匹配來(lái)實(shí)現(xiàn)刪除或者歸檔，這都無(wú)法滿足客戶需求。為此，SandStone MOS新增了支持基于對(duì)象標(biāo)簽過(guò)濾生效對(duì)象的特性，通過(guò)該功能，客戶可以將日志文件根據(jù)所屬業(yè)務(wù)的不同打上不同的標(biāo)簽存下來(lái)，并在桶內(nèi)根據(jù)標(biāo)簽配置相應(yīng)的過(guò)期時(shí)間，每個(gè)日志文件到期后自動(dòng)刪除或者歸檔。這樣一來(lái)，既實(shí)現(xiàn)生命周期管理更加精細(xì)化，同時(shí)提升了存儲(chǔ)系統(tǒng)的資源利用率，也減少了運(yùn)維壓力。

冷存儲(chǔ)統(tǒng)一管理

客戶在進(jìn)行數(shù)據(jù)生命周期管理時(shí)，需要對(duì)歸檔文件長(zhǎng)期（數(shù)以十年計(jì)）保存，并對(duì)存儲(chǔ)的安全性、合規(guī)性以及成本等方面提出了更嚴(yán)格的要求。按照以往的策略，歸檔數(shù)據(jù)保存在機(jī)械硬盤或磁帶庫(kù)等存儲(chǔ)介質(zhì)上，但是想要達(dá)到數(shù)以十年計(jì)的長(zhǎng)期保存，其成本是非常不可觀的。為此，SandStone MOS在新版本中支持將藍(lán)光存儲(chǔ)作為冷池納管，支持將冷數(shù)據(jù)按照策略歸檔到藍(lán)光存儲(chǔ)，同時(shí)支持冷數(shù)據(jù)被訪問(wèn)時(shí)自動(dòng)回存到磁盤存儲(chǔ)，并實(shí)現(xiàn)熱/溫/冷數(shù)據(jù)的統(tǒng)一名字空間管理。通過(guò)該特性，光存儲(chǔ)介質(zhì)的優(yōu)勢(shì)充分顯現(xiàn)出來(lái)，為客戶帶來(lái)了多方面的收益。一是解放熱池性能，提高上線存儲(chǔ)池性能。二是降低能耗成本，兼顧安全性、效益和成本。三是降低維護(hù)成本，光盤存儲(chǔ)壽命可達(dá)100年，長(zhǎng)期存放無(wú)需維護(hù)。四是滿足合規(guī)需求，光盤介質(zhì)是不可更改的存儲(chǔ)介質(zhì)，保證數(shù)據(jù)寫入的真實(shí)性。

2.?功能接口更加豐富

阿里云OSS服務(wù)接口

阿里云對(duì)象存儲(chǔ)服務(wù)（Object Storage Service，簡(jiǎn)稱OSS）是阿里云對(duì)外提供的海量、安全、低成本和高可靠的云存儲(chǔ)服務(wù)。為了幫助客戶實(shí)現(xiàn)歷史業(yè)務(wù)系統(tǒng)的對(duì)接和升級(jí)，SandStone MOS新增對(duì)OSS協(xié)議基本接口（包括桶創(chuàng)建、對(duì)象上傳、對(duì)象查詢、對(duì)象下載及對(duì)象刪除接口）的支持，杉巖也是業(yè)內(nèi)率先支持阿里云OSS協(xié)議的企業(yè)級(jí)對(duì)象存儲(chǔ)廠商。

追加寫數(shù)據(jù)實(shí)時(shí)可讀

針對(duì)視頻監(jiān)控場(chǎng)景對(duì)準(zhǔn)實(shí)時(shí)回放的要求，SandStone MOS新增了追加寫接口支持的特性，每次追加操作完成后對(duì)象文件立即可讀。在舊版本中，監(jiān)控影像按照普通分片方式上傳，存儲(chǔ)系統(tǒng)不支持對(duì)剛剛上傳內(nèi)容的立即讀取，這在實(shí)時(shí)性上是無(wú)法滿足客戶需求的。通過(guò)追加寫接口支持，存儲(chǔ)系統(tǒng)在每次分片上傳后更新一次元數(shù)據(jù)信息，保證業(yè)務(wù)可以讀取最新上傳的分片數(shù)據(jù)，在業(yè)務(wù)層面實(shí)現(xiàn)了準(zhǔn)實(shí)時(shí)回放，滿足客戶對(duì)于快速響應(yīng)的要求。

跨桶數(shù)據(jù)批量拷貝

在管理海量數(shù)據(jù)時(shí)，批量操作往往能夠顯著提升管理的便捷性。某客戶出于安全性考量，在存儲(chǔ)系統(tǒng)中專門新建一個(gè)桶用來(lái)存儲(chǔ)各個(gè)業(yè)務(wù)所產(chǎn)生的重要文件，并作為公司財(cái)產(chǎn)長(zhǎng)期保存。此過(guò)程中，在業(yè)務(wù)流程（比如報(bào)銷審批）結(jié)束之前，這些文件歸各業(yè)務(wù)所有，一旦流程閉環(huán)，這些文件將轉(zhuǎn)變?yōu)楣矩?cái)產(chǎn)，由原來(lái)的桶空間遷移到新建的桶空間進(jìn)行歸檔，這就涉及到了對(duì)象的批量刪除（舊版本已支持）和批量拷貝功能。為此，SandStone MOS在新版本中又增加了批量拷貝功能，實(shí)現(xiàn)兩個(gè)不同的桶之間對(duì)象數(shù)據(jù)的批量拷貝操作，簡(jiǎn)化了業(yè)務(wù)邏輯，提升了業(yè)務(wù)性能，讓管理操作更加便捷。

3.?共享策略更加完善

精細(xì)化授權(quán)策略

數(shù)據(jù)因共享而產(chǎn)生價(jià)值，豐富的數(shù)據(jù)共享策略是充分發(fā)揮數(shù)據(jù)價(jià)值的保障。在這方面，SandStone MOS在之前版本中已經(jīng)實(shí)現(xiàn)了單個(gè)桶空間內(nèi)的所有對(duì)象共享、根據(jù)對(duì)象前綴匹配來(lái)過(guò)濾生效對(duì)象等特性，在使用過(guò)程中也得到了客戶的積極反響。但是，當(dāng)多種業(yè)務(wù)的數(shù)據(jù)匯聚到相同的桶空間，同時(shí)又需要通過(guò)權(quán)限控制管理各個(gè)業(yè)務(wù)的視圖時(shí)，現(xiàn)有的共享策略無(wú)法滿足需求。為此，SandStone MOS在新版本中做了優(yōu)化，新增支持按照對(duì)象標(biāo)簽過(guò)濾生效對(duì)象并共享，即基于對(duì)象標(biāo)簽精確控制授權(quán)對(duì)象。用戶在配置桶共享控制策略時(shí)，可以將標(biāo)簽作為過(guò)濾條件，控制擁有某類標(biāo)簽的對(duì)象文件被某些用戶訪問(wèn)或者拒絕某些用戶的訪問(wèn)。這樣一來(lái)，用戶能夠根據(jù)需要在存入對(duì)象時(shí)打上不同的標(biāo)簽，后續(xù)再根據(jù)標(biāo)簽內(nèi)容將對(duì)象篩選出來(lái)并執(zhí)行統(tǒng)一的共享策略，讓共享方式更加精細(xì)化，讓共享策略更加全面。

FTP多用戶權(quán)限管理

對(duì)海量數(shù)據(jù)的存儲(chǔ)、共享和利用，往往涉及多種業(yè)務(wù)應(yīng)用，需要豐富的接口類型提供支撐。SandStone MOS在舊版本中基于S3接口封裝支持FTP接口，可以實(shí)現(xiàn)數(shù)據(jù)調(diào)用，但不支持多用戶間的共享及授權(quán)管理。當(dāng)客戶提出此類需求后，我們?cè)谛掳姹局醒a(bǔ)齊了這一特性，實(shí)現(xiàn)多個(gè)FTP用戶之間的內(nèi)容共享和授權(quán)管理。這樣一來(lái)，多個(gè)業(yè)務(wù)應(yīng)用可以對(duì)應(yīng)多個(gè)FTP賬戶，不同F(xiàn)TP賬戶之間通過(guò)共享權(quán)限進(jìn)而對(duì)數(shù)據(jù)的可見(jiàn)范圍進(jìn)行設(shè)置，使得接口服務(wù)模塊更加完善，數(shù)據(jù)共享的方式更多元，也更好的滿足多樣化場(chǎng)景對(duì)接需求。

4.?管理運(yùn)維更加簡(jiǎn)單

多站點(diǎn)同步QoS控制

對(duì)于大型企業(yè)而言，其IT系統(tǒng)架構(gòu)往往由多個(gè)跨地域的數(shù)據(jù)中心構(gòu)成，要想實(shí)現(xiàn)跨地域、多站點(diǎn)的統(tǒng)一便捷管理，多站點(diǎn)同步功能承擔(dān)著重要角色。大部分客戶的多站點(diǎn)同步需要與其他業(yè)務(wù)一起共享企業(yè)公共的網(wǎng)絡(luò)帶寬，為了避免存儲(chǔ)多站點(diǎn)同步任務(wù)擠占過(guò)多帶寬導(dǎo)致業(yè)務(wù)性能不穩(wěn)定，多站點(diǎn)同步QoS控制功能成為站點(diǎn)同步的一個(gè)基本功能需求。為了滿足業(yè)務(wù)需求、保證服務(wù)質(zhì)量，SandStone MOS在新版本中新增了站點(diǎn)同步支持配置同步時(shí)間段及同步流量控制，用戶可以根據(jù)業(yè)務(wù)應(yīng)用的運(yùn)行情況，對(duì)多個(gè)站點(diǎn)的同步時(shí)間段和流量大小進(jìn)行同步控制。這樣一來(lái)，一是簡(jiǎn)化了跨地域、多站點(diǎn)架構(gòu)的同步配置操作；二是保證了業(yè)務(wù)性能，而且業(yè)務(wù)閑時(shí)可以充分利用空閑帶寬加速數(shù)據(jù)同步；三是更快地響應(yīng)大規(guī)模業(yè)務(wù)調(diào)整，提高了效率。

微信告警通知

隨著越來(lái)越多的應(yīng)用逐漸互聯(lián)網(wǎng)化，高度的敏捷性和易用性也是產(chǎn)品迭代的重要方向之一。為了方便用戶能夠“隨時(shí)隨地隨手”了解存儲(chǔ)資源的運(yùn)行情況，SandStone MOS在新版本中還增加了微信告警功能，運(yùn)維人員通過(guò)界面設(shè)置，可以將存儲(chǔ)系統(tǒng)的告警信息批量推送到選定的微信群組，讓群組內(nèi)管理人員和運(yùn)維人員能夠及時(shí)掌握設(shè)備運(yùn)行狀態(tài)。相比郵件告警而言，微信告警顯然更加實(shí)時(shí)，也更加人性化。

5.其他

智能圖片處理

在SandStone MOS存儲(chǔ)的海量非結(jié)構(gòu)數(shù)據(jù)中，有很多是圖片文件。在實(shí)際的使用過(guò)程中，業(yè)務(wù)系統(tǒng)經(jīng)常需要對(duì)圖片進(jìn)行格式處理等操作，這些操作以往都是在業(yè)務(wù)系統(tǒng)中完成，讓業(yè)務(wù)系統(tǒng)開發(fā)變的復(fù)雜，而且消耗了原本就比較緊張的業(yè)務(wù)主機(jī)CPU資源。為此，SandStone MOS在新版本中集成了智能圖片處理功能，業(yè)務(wù)系統(tǒng)通過(guò)調(diào)用S3接口傳遞相關(guān)參數(shù)即可完成常用圖片格式處理功能（包括圖片轉(zhuǎn)碼、圖片壓縮、縮略圖、打水印等）。這樣一來(lái)，圖片的存儲(chǔ)和處理全部由存儲(chǔ)系統(tǒng)完成，充分利用存儲(chǔ)服務(wù)器的處理能力，業(yè)務(wù)系統(tǒng)的開發(fā)也得到簡(jiǎn)化，提升了處理效率，也節(jié)省了緊張的業(yè)務(wù)主機(jī)CPU資源。

Elastic Search賬號(hào)認(rèn)證

在數(shù)據(jù)的獲取、存儲(chǔ)、檢索、共享等過(guò)程中，存儲(chǔ)系統(tǒng)的安全性一直都是客戶十分關(guān)注的內(nèi)容。某客戶部署SandStone MOS并運(yùn)行一段時(shí)間后，出于業(yè)務(wù)安全需要，其生產(chǎn)環(huán)境的Elastic Search集群準(zhǔn)備增加權(quán)限認(rèn)證功能，為此，SandStone MOS在新版本中支持對(duì)接Elastic Search時(shí)使用賬號(hào)密碼認(rèn)證，提高了系統(tǒng)安全性，使存儲(chǔ)與檢索軟件的內(nèi)部安全得到了進(jìn)一步加強(qiáng)，為數(shù)據(jù)資源的高可靠性增添了新的“鑰匙”。

總結(jié)

綜合前文所述，從數(shù)據(jù)生命周期管理、功能接口、數(shù)據(jù)共享策略、管理運(yùn)維等五個(gè)方面對(duì)SandStone MOS的新增特性進(jìn)行了介紹，新特性滿足了客戶在產(chǎn)品使用過(guò)程中提出的新需求，解決了應(yīng)用實(shí)踐過(guò)程中涌現(xiàn)的新的痛點(diǎn)，幫助應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)管理過(guò)程中面臨的新的挑戰(zhàn)。

隨著業(yè)務(wù)數(shù)據(jù)逐漸向海量化、非結(jié)構(gòu)化的方向發(fā)展，業(yè)務(wù)應(yīng)用逐漸向復(fù)雜化、敏捷化的方向發(fā)展，存儲(chǔ)系統(tǒng)也必將向著智能化、價(jià)值化、易用化的方向發(fā)展。杉巖也將一直堅(jiān)守以客戶需求為導(dǎo)向這一根本準(zhǔn)則，持續(xù)推動(dòng)產(chǎn)品更新與迭代，為客戶提供更好的存儲(chǔ)產(chǎn)品、解決方案及服務(wù)。