杉巖海量對(duì)象存儲(chǔ)系統(tǒng)完美替代Documentum

自2006年至今十余年來，金融行業(yè)內(nèi)容管理系統(tǒng)通常采用Documentum+DB+NAS的整體解決方案，如下圖1所示，Documentum結(jié)合DB的索引能力和NAS的存儲(chǔ)能力，向上為影像平臺(tái)等業(yè)務(wù)提供文檔數(shù)據(jù)的存儲(chǔ)和檢索讀取服務(wù)。

近年來隨著非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)性增長(zhǎng)，由于Documentum系統(tǒng)架構(gòu)問題，此套解決方案出現(xiàn)了明顯性能瓶頸，杉巖海量對(duì)象存儲(chǔ)系統(tǒng)（SandStone MOS）采用全分布式架構(gòu)，針對(duì)海量文件場(chǎng)景提供可線性擴(kuò)展的持續(xù)快速訪問性能，同時(shí)提供全方位的海量數(shù)據(jù)保護(hù)支持和數(shù)據(jù)生命周期管理功能，能夠完美替代Documentum。作為金融行業(yè)內(nèi)容管理系統(tǒng)的未來核心模塊，不僅要提供現(xiàn)在和未來的服務(wù)保障，更要能夠完美接納客戶現(xiàn)有數(shù)據(jù)，所以需要提供平滑友好的Documentum遷移方案。

Documentum應(yīng)用架構(gòu)

基于Documentum的應(yīng)用平臺(tái)如圖2所示，存儲(chǔ)倉庫（Repository）作為數(shù)據(jù)及元數(shù)據(jù)的最終存放位置，包含內(nèi)容存儲(chǔ)系統(tǒng)（Content Store）及元數(shù)據(jù)存儲(chǔ)系統(tǒng)（Metadata Store）; 內(nèi)容服務(wù)器（Content Server）位于存儲(chǔ)倉庫之上，通過封裝好的接口給上層應(yīng)用提供處理文檔數(shù)據(jù)的調(diào)用接口；上層應(yīng)用（Web Application、Desktop Application等）通過調(diào)用內(nèi)容服務(wù)器提供的API接口，給最終用戶提供友好的文檔內(nèi)容管理功能，輕松應(yīng)對(duì)文檔的存檔、搜索、分類、處理、安全保密和歸檔保存等一系列工作。

基于Documentum的應(yīng)用平臺(tái)架構(gòu)圖

Documentum模塊介紹

存儲(chǔ)倉庫（Repository）

一個(gè)存儲(chǔ)倉庫是一個(gè)基本的內(nèi)容和元數(shù)據(jù)存儲(chǔ)單元，包含內(nèi)容存儲(chǔ)系統(tǒng)（Content Store）和元數(shù)據(jù)存儲(chǔ)系統(tǒng)(Metadata Store)，如圖3是一個(gè)最小的存儲(chǔ)倉庫結(jié)構(gòu)，默認(rèn)情況下Documentum通過主機(jī)本地文件系統(tǒng)存儲(chǔ)內(nèi)容，通過關(guān)系數(shù)據(jù)庫（RDBMS，Relational Database Management System）管理元數(shù)據(jù)及其相互關(guān)系，另外一個(gè)倉庫可以同時(shí)包含多個(gè)內(nèi)容存儲(chǔ)系統(tǒng)，并且這些內(nèi)容存儲(chǔ)系統(tǒng)可以是不同類型，比如關(guān)系數(shù)據(jù)庫、本地文件系統(tǒng)、NAS等。

存儲(chǔ)倉庫

內(nèi)容服務(wù)器（Content Server）

內(nèi)容服務(wù)器負(fù)責(zé)內(nèi)容和元數(shù)據(jù)的生命周期管理，用戶無需關(guān)心文件和元數(shù)據(jù)具體存在哪里，通過一個(gè)接口即可訪問內(nèi)容（content）。一個(gè)Content Server只能對(duì)應(yīng)一個(gè)Repository，但是一個(gè)Repository可以配置多個(gè)Content Server，這樣有如下好處：

1. 通過多個(gè)Content Server分擔(dān)壓力，提高整體性能

2. 通過遠(yuǎn)程Content Server為遠(yuǎn)端用戶提供優(yōu)質(zhì)服務(wù)

3. 通過多Content Server提供高可用和災(zāi)備恢復(fù)支持

杉巖NAS異構(gòu)特性介紹

傳統(tǒng)NAS設(shè)備在已經(jīng)存放了數(shù)千萬級(jí)別文件數(shù)量的情況下，性能急劇下降，讀寫延遲可達(dá)到5-10秒，在杉巖對(duì)象存儲(chǔ)實(shí)施的過程中，由于NAS接口性能的瓶頸，導(dǎo)致現(xiàn)有數(shù)據(jù)的遷移周期長(zhǎng)達(dá)數(shù)月之久，為此我們開發(fā)了NAS異構(gòu)特性。

如圖5所示，SandStone MOS納管NAS設(shè)備的元數(shù)據(jù)，無需立即觸發(fā)數(shù)據(jù)內(nèi)容搬遷，應(yīng)用統(tǒng)一使用S3接口即可訪問NAS和MOS的數(shù)據(jù)，通過生命周期轉(zhuǎn)移策略，可以后期平滑遷移NAS文件到SandStone MOS，數(shù)據(jù)內(nèi)容搬遷過程中無需停機(jī)，業(yè)務(wù)切割時(shí)間窗極短。