軟件定義存儲(chǔ)加碼數(shù)據(jù)治理 助推金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型

當(dāng)前，伴隨信息技術(shù)的持續(xù)變革與發(fā)展，以數(shù)字經(jīng)濟(jì)為代表的新經(jīng)濟(jì)將成為發(fā)展新動(dòng)能。以云計(jì)算、大數(shù)據(jù)、人工智能等為代表的數(shù)字技術(shù)不斷涌現(xiàn)，快速向經(jīng)濟(jì)社會(huì)各領(lǐng)域融合滲透。以數(shù)據(jù)為核心的數(shù)字化轉(zhuǎn)型已是大勢所趨。金融業(yè)是數(shù)據(jù)密集型行業(yè)，在生產(chǎn)經(jīng)營過程中積累了海量的數(shù)據(jù)資源，對數(shù)據(jù)資產(chǎn)進(jìn)行管理、應(yīng)用、治理成為金融機(jī)構(gòu)探索和實(shí)踐的重要方向。在本篇文章中，我們將結(jié)合金融機(jī)構(gòu)在數(shù)據(jù)治理過程中的具體實(shí)踐，一起探討軟件定義存儲(chǔ)技術(shù)能夠在數(shù)據(jù)治理體系中發(fā)揮怎樣的價(jià)值。

金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型中數(shù)據(jù)治理的困難與挑戰(zhàn)

金融機(jī)構(gòu)作為數(shù)字化轉(zhuǎn)型的親身實(shí)踐者，在過去的實(shí)踐中積累了較為豐富的數(shù)據(jù)治理經(jīng)驗(yàn)。但是面對數(shù)據(jù)的海量增長，如何科學(xué)地管理和使用數(shù)據(jù)，“盤活”數(shù)據(jù)價(jià)值，使經(jīng)濟(jì)利益和社會(huì)效益最大化，依然面臨著諸多困難與挑戰(zhàn)。

困難一、缺乏統(tǒng)一數(shù)據(jù)視圖，難以發(fā)現(xiàn)價(jià)值數(shù)據(jù)

由于歷史原因，多數(shù)金融機(jī)構(gòu)的數(shù)據(jù)資源散落在多個(gè)業(yè)務(wù)系統(tǒng)中，缺乏統(tǒng)一的數(shù)據(jù)視圖，管理人員和業(yè)務(wù)人員無法及時(shí)感知數(shù)據(jù)分布情況，無法快速找到符合自己需求的數(shù)據(jù)，也無法發(fā)現(xiàn)有價(jià)值的數(shù)據(jù)并納入數(shù)據(jù)資產(chǎn)。

困難二、數(shù)據(jù)孤島普遍存在，跨業(yè)務(wù)共享效率低

金融機(jī)構(gòu)將數(shù)據(jù)作為戰(zhàn)略性資源，因數(shù)據(jù)共享機(jī)制不完善、各機(jī)構(gòu)數(shù)據(jù)接口不統(tǒng)一等問題，導(dǎo)致數(shù)據(jù)難以互聯(lián)互通，形成“數(shù)據(jù)煙囪”，不利于開放共享。

困難三、數(shù)據(jù)質(zhì)量低下，業(yè)務(wù)決策根基不牢

數(shù)據(jù)質(zhì)量是金融服務(wù)與創(chuàng)新的重要基礎(chǔ)。由于缺乏完善的數(shù)據(jù)治理體系，金融機(jī)構(gòu)在數(shù)據(jù)采集、存儲(chǔ)、處理等環(huán)節(jié)存在不科學(xué)、不規(guī)范等問題，無法確保數(shù)據(jù)的完整性和準(zhǔn)確性。

困難四、科技研發(fā)投入不足，數(shù)據(jù)場景融合不足

金融機(jī)構(gòu)的數(shù)據(jù)規(guī)模十分龐大，從中挖掘高價(jià)值、關(guān)聯(lián)性強(qiáng)的高質(zhì)量數(shù)據(jù)，需要高效的信息技術(shù)支撐和可靠的基礎(chǔ)設(shè)施保障。然而，部分機(jī)構(gòu)科技研發(fā)投入相對不足，導(dǎo)致海量數(shù)據(jù)資源無法盤活，數(shù)據(jù)價(jià)值難以充分釋放。

困難五、缺乏安全的數(shù)據(jù)環(huán)境，數(shù)據(jù)流程存在風(fēng)險(xiǎn)

倘若擁有龐大的數(shù)據(jù)資源，但缺乏安全的數(shù)據(jù)環(huán)境，同樣危險(xiǎn)重重。常見的安全風(fēng)險(xiǎn)包括數(shù)據(jù)泄露、數(shù)據(jù)濫用等，潛藏在數(shù)據(jù)的采集、存儲(chǔ)、共享等各個(gè)流程中。

困難六、缺乏數(shù)據(jù)治理體系，數(shù)據(jù)“不善用、不盡用”

部分金融機(jī)構(gòu)尚未建立起有效管理和應(yīng)用數(shù)據(jù)的模式，對數(shù)據(jù)服務(wù)和應(yīng)用缺乏合規(guī)性指導(dǎo)。由于法律法規(guī)尚不健全、數(shù)據(jù)治理體系還不完善、機(jī)構(gòu)合規(guī)意識不足，數(shù)據(jù)“不善用”的問題突出，過度采集數(shù)據(jù)、違規(guī)使用數(shù)據(jù)、非法交易數(shù)據(jù)等問題屢見不鮮。

概括而言，一是數(shù)據(jù)組織形態(tài)和架構(gòu)的問題，即如何將數(shù)據(jù)納入統(tǒng)一視圖、讓數(shù)據(jù)跨業(yè)務(wù)共享；二是數(shù)據(jù)管理策略和安全的問題，即如何提高數(shù)據(jù)的質(zhì)量、深化數(shù)據(jù)與應(yīng)用的融合、保障數(shù)據(jù)環(huán)境的安全；三是數(shù)據(jù)價(jià)值發(fā)現(xiàn)的問題，即如何釋放數(shù)據(jù)價(jià)值。

面對上述困難和挑戰(zhàn)，金融機(jī)構(gòu)如何解困破局、實(shí)現(xiàn)數(shù)據(jù)有序治理和高效利用，探索數(shù)據(jù)治理之“道”成為迫在眉睫的問題。

三大策略指引金融機(jī)構(gòu)從數(shù)據(jù)管理到數(shù)據(jù)治理轉(zhuǎn)型跨越

針對以上困難和挑戰(zhàn)，金融機(jī)構(gòu)如何制定數(shù)據(jù)治理策略、完善數(shù)據(jù)治理體系、做好數(shù)據(jù)資產(chǎn)管理和價(jià)值評估至關(guān)重要。所謂數(shù)據(jù)治理，就是處理數(shù)據(jù)的策略，即如何存儲(chǔ)、訪問、驗(yàn)證、保護(hù)和使用數(shù)據(jù)。數(shù)據(jù)治理必須涵蓋數(shù)據(jù)的全生命周期，即從數(shù)據(jù)的獲取、存儲(chǔ)到管理、應(yīng)用再到歸檔、刪除的全流程。

按照數(shù)據(jù)生命周期的特點(diǎn)，可以將數(shù)據(jù)治理策略分為三個(gè)部分，即數(shù)據(jù)的獲取和存儲(chǔ)、數(shù)據(jù)的管理和安全、數(shù)據(jù)價(jià)值的釋放。

策略一、數(shù)據(jù)的獲取和存儲(chǔ)

數(shù)據(jù)生命周期管理的起點(diǎn)，是數(shù)據(jù)的獲取和存儲(chǔ)，這也是數(shù)據(jù)治理最先面對的環(huán)節(jié)。若要解決統(tǒng)一視圖、跨業(yè)務(wù)共享的問題，需要對數(shù)據(jù)資源制定標(biāo)準(zhǔn)、建立模型，并確定元數(shù)據(jù)和主數(shù)據(jù)的存儲(chǔ)方式，可概括為數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理四個(gè)方面。

數(shù)據(jù)標(biāo)準(zhǔn)管理可確保大數(shù)據(jù)平臺(tái)數(shù)據(jù)的完整性、有效性、一致性、規(guī)范性，推動(dòng)數(shù)據(jù)共享開放。數(shù)據(jù)模型管理將所有數(shù)據(jù)納入統(tǒng)一視圖，便于數(shù)據(jù)整合。元數(shù)據(jù)管理實(shí)現(xiàn)關(guān)鍵信息的追蹤、記錄和快速檢索。主數(shù)據(jù)管理實(shí)現(xiàn)跨系統(tǒng)使用一致的和共享的主數(shù)據(jù)，降低成本和復(fù)雜度。

策略二、數(shù)據(jù)的管理和安全

如何對數(shù)據(jù)進(jìn)行管理、評估和共享呢？這便進(jìn)入數(shù)據(jù)治理的第二階段，即數(shù)據(jù)的管理和安全，該階段的主要措施可概括為質(zhì)量管理、安全管理、共享管理等三個(gè)方面。

質(zhì)量管理幫助金融機(jī)構(gòu)獲得干凈、結(jié)構(gòu)清晰的數(shù)據(jù)，極大提升數(shù)據(jù)質(zhì)量；安全管理確保數(shù)據(jù)資產(chǎn)在“存、管、用”等環(huán)節(jié)中的安全，做到“事前可管、事中可控、事后可查”；數(shù)據(jù)共享管理通過搭建統(tǒng)一共享平臺(tái)，打通跨部門共享瓶頸，提高利用價(jià)值。

策略三、數(shù)據(jù)價(jià)值的釋放

數(shù)據(jù)治理的最終目的是釋放數(shù)據(jù)價(jià)值。數(shù)據(jù)價(jià)值管理是數(shù)據(jù)治理體系中的關(guān)鍵環(huán)節(jié)，是對數(shù)據(jù)內(nèi)在價(jià)值的度量，主要從數(shù)據(jù)資產(chǎn)的分類、使用頻次、使用對象、使用效果等方面計(jì)量。數(shù)據(jù)價(jià)值管理可以實(shí)現(xiàn)數(shù)據(jù)成本的有效控制，優(yōu)化數(shù)據(jù)服務(wù)方式，提高數(shù)據(jù)應(yīng)用價(jià)值。

以上各個(gè)環(huán)節(jié)之間環(huán)環(huán)相扣，只有緊密協(xié)同才能發(fā)揮更大作用。完善的數(shù)據(jù)治理體系幫助金融機(jī)構(gòu)找準(zhǔn)高質(zhì)量數(shù)據(jù)、深挖高價(jià)值數(shù)據(jù)，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)效益最大化的目標(biāo)，解決金融機(jī)構(gòu)的數(shù)據(jù)治理之“困”。

軟件定義存儲(chǔ)助力數(shù)據(jù)治理體系建設(shè)

為構(gòu)建數(shù)據(jù)治理體系，金融機(jī)構(gòu)不僅要結(jié)合業(yè)務(wù)需求合理規(guī)劃，更要依托信息技術(shù)梳理數(shù)據(jù)內(nèi)容、安全存儲(chǔ)數(shù)據(jù)、高效利用數(shù)據(jù)，存儲(chǔ)系統(tǒng)必然是重要支撐。

現(xiàn)階段，多數(shù)金融機(jī)構(gòu)傾向于通過搭建數(shù)據(jù)湖（Data Lake）來存儲(chǔ)包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的數(shù)據(jù)資源，以供上層調(diào)用。這樣一來，軟件定義存儲(chǔ)（Software Defined Storage，簡稱SDS）在金融機(jī)構(gòu)數(shù)據(jù)治理體系中，無疑扮演著重要角色。那么，什么是軟件定義存儲(chǔ)？軟件定義存儲(chǔ)、數(shù)據(jù)湖、數(shù)據(jù)治理之間有何關(guān)系呢？

本質(zhì)上，軟件定義存儲(chǔ)是提供存儲(chǔ)功能和特性的軟件，它將數(shù)據(jù)從硬件架構(gòu)上解放出來，使用戶專注于數(shù)據(jù)蘊(yùn)含的價(jià)值。軟件定義存儲(chǔ)通過統(tǒng)一的虛擬管理平臺(tái)，與前端應(yīng)用、管理程序、物理空間進(jìn)行交互，極大簡化數(shù)據(jù)管理。數(shù)據(jù)湖是以自然格式存儲(chǔ)的數(shù)據(jù)的系統(tǒng)，一般包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和二進(jìn)制數(shù)據(jù)等全部原始數(shù)據(jù)資源。簡而言之，要實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和管理的優(yōu)化，基于軟件定義存儲(chǔ)搭建統(tǒng)一數(shù)據(jù)湖無疑是極佳的選擇。

圖1：基于SDS的數(shù)據(jù)管理架構(gòu)圖

軟件定義存儲(chǔ)以分布式架構(gòu)、彈性擴(kuò)展、海量數(shù)據(jù)支撐、管理運(yùn)維簡單等優(yōu)勢，幫助金融機(jī)構(gòu)搭建穩(wěn)定可靠的數(shù)據(jù)平臺(tái)，輕松實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和管理，依靠AI后處理框架挖掘數(shù)據(jù)價(jià)值，成為金融機(jī)構(gòu)治理數(shù)據(jù)的好幫手。主要體現(xiàn)在以下幾個(gè)方面：

優(yōu)勢一、解決海量存儲(chǔ)需求

針對金融機(jī)構(gòu)缺乏統(tǒng)一數(shù)據(jù)視圖、存在數(shù)據(jù)孤島等問題，軟件定義存儲(chǔ)因其抽象化、池化等特性，從根本上解決了這類問題。軟硬件解耦使得存儲(chǔ)軟件不再依賴于專有硬件；通過虛擬化，將物理存儲(chǔ)空間虛擬成統(tǒng)一資源池，建立統(tǒng)一命名空間，構(gòu)建多業(yè)務(wù)共享的數(shù)據(jù)湖；

其全分布式架構(gòu)，彈性擴(kuò)展靈活，支撐EB級容量，滿足金融機(jī)構(gòu)對容量、性能等需求。

優(yōu)勢二：解決智能管理需求

軟件定義存儲(chǔ)提供豐富的API，根據(jù)業(yè)務(wù)應(yīng)用要求，自動(dòng)按需部署存儲(chǔ)資源，實(shí)現(xiàn)基于存儲(chǔ)策略的自動(dòng)化管理目標(biāo)，極大地簡化管理，節(jié)省基礎(chǔ)設(shè)施投入，降低運(yùn)維成本。其自定義管理的策略，實(shí)現(xiàn)生命周期自動(dòng)化管理；通過智能緩存、數(shù)據(jù)分層等特性，讓存儲(chǔ)介質(zhì)“物盡其用”，在數(shù)據(jù)訪問性能和存儲(chǔ)成本之間實(shí)現(xiàn)平衡。

優(yōu)勢三：解決釋放數(shù)據(jù)價(jià)值需求

伴隨AI技術(shù)的興起，數(shù)據(jù)治理開始向“智能化”轉(zhuǎn)變。與傳統(tǒng)存儲(chǔ)不同，軟件定義存儲(chǔ)能夠?qū)崿F(xiàn)內(nèi)容感知，配合前端應(yīng)用對海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和價(jià)值挖掘。以杉巖數(shù)據(jù)為例，其對象存儲(chǔ)產(chǎn)品中集成了AI后處理框架，支持包括OCR識別/人臉識別、語音識別等AI插件，幫助金融客戶更好的實(shí)現(xiàn)AI賦能和價(jià)值挖掘；同時(shí)還支持 Hadoop、Spark等大數(shù)據(jù)分析系統(tǒng)，充分釋放數(shù)據(jù)價(jià)值。

面對諸多難題，軟件定義存儲(chǔ)幫助金融機(jī)構(gòu)打造智能化的數(shù)據(jù)治理平臺(tái)，解決數(shù)據(jù)的存儲(chǔ)、管理、共享等一系列問題，極大地提升數(shù)據(jù)治理水平，為數(shù)字化轉(zhuǎn)型提供有力支撐。

數(shù)據(jù)中臺(tái)解決方案助推金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型

在金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型中，每家機(jī)構(gòu)業(yè)務(wù)基礎(chǔ)不同、戰(zhàn)略重點(diǎn)不同，數(shù)字化轉(zhuǎn)型中是不能套用一套模板的，需結(jié)合宏觀架構(gòu)和具體應(yīng)用場景進(jìn)而深入融合，才能助力金融機(jī)構(gòu)在全面數(shù)字化轉(zhuǎn)型中夯實(shí)“科技+開放”能力，與金融機(jī)構(gòu)共建數(shù)字金融快車道，提升金融服務(wù)實(shí)體產(chǎn)業(yè)的質(zhì)效。金融非結(jié)構(gòu)化數(shù)據(jù)中臺(tái)解決方案就是這樣一個(gè)代表性的方案。

圖2：金融非結(jié)構(gòu)化數(shù)據(jù)中臺(tái)解決方案拓?fù)鋱D

數(shù)據(jù)中臺(tái)解決方案，以軟件定義存儲(chǔ)作為能力后臺(tái)，為數(shù)據(jù)中臺(tái)提供存儲(chǔ)支撐?；诜植际郊軜?gòu)搭建統(tǒng)一存儲(chǔ)池；通過生命周期管理、智能QoS等實(shí)現(xiàn)自動(dòng)化管理；集成AI后處理框架，整合金融機(jī)構(gòu)的 AI 能力，將數(shù)據(jù)價(jià)值最大化釋放，為金融機(jī)構(gòu)提供數(shù)據(jù)治理的技術(shù)支撐。

數(shù)據(jù)中臺(tái)解決方案能夠幫助金融機(jī)構(gòu)解決數(shù)據(jù)孤島、實(shí)現(xiàn)數(shù)據(jù)有序治理和高效利用。

一.實(shí)現(xiàn)能力平臺(tái)化，使數(shù)據(jù)的存儲(chǔ)、共享趨于服務(wù)化。面對需求變化，快速響應(yīng)開發(fā)，通過數(shù)據(jù)與應(yīng)用深度融合實(shí)現(xiàn)一次處理、多處應(yīng)用，避免重復(fù)開發(fā)帶來的效率損失。

二.解決數(shù)據(jù)孤島問題?？蓪?shí)現(xiàn)跨業(yè)務(wù)檢索、數(shù)據(jù)共享更加便捷，便于數(shù)據(jù)整合分析。解決業(yè)務(wù)性能彈性擴(kuò)展，輕松支撐EB級容量、百億文件高并發(fā)訪問。

三.實(shí)現(xiàn)統(tǒng)一的基礎(chǔ)設(shè)施資源管控，讓數(shù)據(jù)治理更加場景化、模式化、體系化、標(biāo)準(zhǔn)化。統(tǒng)一的數(shù)據(jù)管理，保障數(shù)據(jù)完整性、準(zhǔn)確性和一致性，減少重復(fù)收集造成的資源浪費(fèi)和數(shù)據(jù)冗余。數(shù)據(jù)的規(guī)范共享，提升數(shù)據(jù)利用效率和應(yīng)用水平，實(shí)現(xiàn)數(shù)據(jù)多向賦能。

金融科技蓬勃發(fā)展，金融業(yè)正處于以科技賦能實(shí)現(xiàn)發(fā)展、大變革的關(guān)鍵時(shí)期。數(shù)據(jù)作為戰(zhàn)略資源，加快數(shù)據(jù)治理進(jìn)程、完善數(shù)據(jù)治理體系已經(jīng)成為金融機(jī)構(gòu)的重要工作。數(shù)據(jù)治理的核心環(huán)節(jié)是數(shù)據(jù)應(yīng)用，要從算力、存儲(chǔ)、網(wǎng)絡(luò)等維度加強(qiáng)技術(shù)支撐，切實(shí)增強(qiáng)數(shù)據(jù)應(yīng)用能力。對存儲(chǔ)而言，探索、交叉融合、數(shù)據(jù)安全等數(shù)據(jù)存儲(chǔ)方案是穩(wěn)步推動(dòng)分布式數(shù)據(jù)庫金融應(yīng)用的基石，實(shí)現(xiàn)數(shù)據(jù)高效存儲(chǔ)和智能管理是目標(biāo)。

在金融科技驅(qū)動(dòng)的數(shù)字化轉(zhuǎn)型進(jìn)程中，一些金融機(jī)構(gòu)已取得突破，如：中國金融認(rèn)證中心、廣發(fā)證券、中國人民保險(xiǎn)、招行信諾等，基于數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展需求，采用數(shù)據(jù)中臺(tái)解決方案，提升了一站式技術(shù)能力、統(tǒng)一數(shù)據(jù)管理能力、快速配置開發(fā)業(yè)務(wù)能力，通過數(shù)字化轉(zhuǎn)型帶來了數(shù)據(jù)融合和技術(shù)融合，滿足了數(shù)據(jù)中臺(tái)的建設(shè)需求。

金融業(yè)的數(shù)字化轉(zhuǎn)型的快速發(fā)展，離不開像華為、杉巖數(shù)據(jù)等云計(jì)算企業(yè)，大家深刻認(rèn)識數(shù)據(jù)資源對金融業(yè)數(shù)字化轉(zhuǎn)型的重要意義，切實(shí)助力金融業(yè)把數(shù)據(jù)存儲(chǔ)、管理、應(yīng)用做到按需規(guī)劃，推動(dòng)金融業(yè)向數(shù)字化的落地。國產(chǎn)自主研發(fā)的軟件定義存儲(chǔ)作為數(shù)據(jù)存儲(chǔ)+數(shù)據(jù)共享的平臺(tái)，為金融業(yè)提供了更快的性能、更高的靈活性和開放性、更強(qiáng)的擴(kuò)展性，實(shí)現(xiàn)更便捷的管理、更簡單的運(yùn)維以及更少的投入，幫助金融機(jī)構(gòu)“數(shù)據(jù)治理”駛?cè)肟燔嚨馈?/p>