微服務(wù)架構(gòu)下分布式數(shù)據(jù)庫(kù)如何支撐千億級(jí)數(shù)據(jù)

如今，大型企業(yè)的應(yīng)用平臺(tái)正在向微服務(wù)架構(gòu)進(jìn)行轉(zhuǎn)型。在微服務(wù)架構(gòu)下，應(yīng)用程序和數(shù)據(jù)庫(kù)等底層平臺(tái)的關(guān)系將會(huì)被重構(gòu)。

作為新一代分布式數(shù)據(jù)庫(kù)，其架構(gòu)與功能特性需要保證在與傳統(tǒng)數(shù)據(jù)庫(kù)全兼容的基礎(chǔ)上，擁抱微服務(wù)與云計(jì)算框架。因此，分布式數(shù)據(jù)庫(kù)對(duì)于分布式交易與ACID必須保證與傳統(tǒng)技術(shù)完全兼容。同時(shí)，在面向微服務(wù)應(yīng)用開發(fā)與云計(jì)算基礎(chǔ)架構(gòu)時(shí)，新一代分布式數(shù)據(jù)庫(kù)必須支持彈性擴(kuò)張、資源隔離、多租戶、可配置一致性、多模式（支持各類SQL協(xié)議）、集群內(nèi)可配置容災(zāi)策略等一系列功能。

傳統(tǒng)單點(diǎn)數(shù)據(jù)庫(kù)的容量瓶頸，僅僅是分布式數(shù)據(jù)庫(kù)所解決的問題之一。更重要的是在未來微服務(wù)化應(yīng)用開發(fā)以及云化平臺(tái)的趨勢(shì)下，應(yīng)用不再以“煙囪式”的中間件加數(shù)據(jù)庫(kù)模式進(jìn)行構(gòu)建，而是采用數(shù)千甚至上萬的微服務(wù)程序構(gòu)建成的復(fù)雜網(wǎng)狀模型。因此，分布式數(shù)據(jù)庫(kù)需要滿足以下能力，才能夠滿足上層應(yīng)用的彈性擴(kuò)展、高并發(fā)、高吞吐量、與靈活敏捷的需求。

在這些技術(shù)需求驅(qū)動(dòng)下，分布式數(shù)據(jù)庫(kù)核心技術(shù)能力分為兩個(gè)方面，一方面是對(duì)傳統(tǒng)技術(shù)的兼容，包括：

完整的ACID支持，事務(wù)和一致性保證；

SQL的完整支持，傳統(tǒng)數(shù)據(jù)庫(kù)如MySQL/PostgreSQL的語法完全兼容。

另一方面，則是技術(shù)創(chuàng)新，包括：

分布式與擴(kuò)展性，應(yīng)對(duì)數(shù)據(jù)量的變化，實(shí)現(xiàn)存儲(chǔ)層和計(jì)算層的彈性擴(kuò)展；

多模式訪問接口，支持多類型數(shù)據(jù)管理和多種模式的訪問接口；

HTAP交易/分析混合處理能力，復(fù)雜業(yè)務(wù)需求下，實(shí)現(xiàn)數(shù)據(jù)的物理隔離，互不干擾。

作為一款金融級(jí)分布式關(guān)系型數(shù)據(jù)庫(kù)，SequoiaDB巨杉數(shù)據(jù)庫(kù)的分布式數(shù)據(jù)庫(kù)架構(gòu)和面向微服務(wù)的云化產(chǎn)品形態(tài)，已經(jīng)幫助包括民生銀行、恒豐銀行在內(nèi)的多家大型金融客戶實(shí)現(xiàn)了大量業(yè)務(wù)系統(tǒng)的底層數(shù)據(jù)庫(kù)云化轉(zhuǎn)型升級(jí)。

目前，巨杉數(shù)據(jù)庫(kù)在銀行生產(chǎn)系統(tǒng)單機(jī)群最大物理節(jié)點(diǎn)數(shù)達(dá)到135個(gè)，單集群最大存儲(chǔ)容量超過2.1 PB，單集群最大管理數(shù)據(jù)條數(shù)1318億條。

SequoiaDB巨杉數(shù)據(jù)庫(kù)作為一款金融級(jí)的分布式關(guān)系型數(shù)據(jù)庫(kù)，在企業(yè)客戶云化架構(gòu)轉(zhuǎn)型過程中，提供了多種重要技術(shù)能力。

數(shù)據(jù)存儲(chǔ)資源池化

SequoiaDB數(shù)據(jù)存儲(chǔ)引擎采用原生分布式架構(gòu)，數(shù)據(jù)完全打散在分布式節(jié)點(diǎn)間存儲(chǔ)，自動(dòng)化數(shù)據(jù)分布和管理，數(shù)據(jù)可以按需靈活擴(kuò)展。

SequoiaDB采用分片技術(shù)為系統(tǒng)提供了橫向擴(kuò)展機(jī)制，其分片過程對(duì)于應(yīng)用程序來說完全透明。該機(jī)制解決了單臺(tái)服務(wù)器硬件資源（如內(nèi)存、CPU、磁盤 I/O）受限的問題，并不會(huì)增加應(yīng)用程序開發(fā)的復(fù)雜性。巨杉數(shù)據(jù)庫(kù)通過原生分布式架構(gòu)，可以輕松實(shí)現(xiàn)PB級(jí)別數(shù)據(jù)管理，目前生產(chǎn)環(huán)境最大支持超過1500個(gè)節(jié)點(diǎn)集群。

SequoiaDB巨杉數(shù)據(jù)庫(kù)存儲(chǔ)引擎也實(shí)現(xiàn)了multi-model多模數(shù)據(jù)管理，支持非結(jié)構(gòu)化、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)全覆蓋并統(tǒng)一管理。SequoiaDB的多模引擎設(shè)計(jì)讓數(shù)據(jù)庫(kù)平臺(tái)場(chǎng)景更多樣，也能符合云數(shù)據(jù)架構(gòu)下對(duì)于多樣化業(yè)務(wù)數(shù)據(jù)的統(tǒng)一管理與運(yùn)維要求。

同時(shí)，在一個(gè)大型集群中，SequoiaDB提供了多維度、多層級(jí)的邏輯與物理隔離能力。在一個(gè)典型的數(shù)據(jù)資源池類型基礎(chǔ)數(shù)據(jù)服務(wù)平臺(tái)（DBaas，DataBase As A Service）中，SequoiaDB巨杉數(shù)據(jù)庫(kù)能夠同時(shí)服務(wù)于成百上千個(gè)不同SLA服務(wù)級(jí)別、優(yōu)先級(jí)、業(yè)務(wù)特性、與數(shù)據(jù)量的應(yīng)用程序，并保證應(yīng)用程序之間的數(shù)據(jù)邏輯與物理隔離。

SequoiaDB提供的“數(shù)據(jù)域（Domain）”特性，能夠?qū)⒄麄€(gè)集群在物理設(shè)備層面進(jìn)行隔離，確保不同的表、表空間、與數(shù)據(jù)庫(kù)實(shí)例坐落于獨(dú)立的硬件設(shè)備上，保證高優(yōu)先級(jí)的聯(lián)機(jī)交易應(yīng)用與后臺(tái)統(tǒng)計(jì)分析相互隔離互不干擾。

數(shù)據(jù)庫(kù)實(shí)例化

SequoiaDB巨杉數(shù)據(jù)庫(kù)支持?jǐn)?shù)據(jù)庫(kù)服務(wù)實(shí)例化。

針對(duì)微服務(wù)應(yīng)用架構(gòu)，用戶可以在同一個(gè)集群中創(chuàng)建成百上千個(gè)不同的關(guān)系型數(shù)據(jù)庫(kù)實(shí)例。數(shù)據(jù)庫(kù)實(shí)例的訪問與使用方式和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)100%兼容，同時(shí)其底層所使用的數(shù)據(jù)從邏輯上完全獨(dú)立，每個(gè)實(shí)例擁有自己獨(dú)立的權(quán)限管理、數(shù)據(jù)管控、甚至可以選擇部署在獨(dú)立的硬件環(huán)境或共享設(shè)備中。

目前SequoiaDB巨杉數(shù)據(jù)庫(kù)支持用戶創(chuàng)建 MySQL、PostgreSQL 與 SparkSQL 實(shí)例，同時(shí)還提供了JSON、S3對(duì)象存儲(chǔ)以及Posix文件系統(tǒng)實(shí)例，充分滿足用戶對(duì)于結(jié)構(gòu)化、半結(jié)構(gòu)化、以及非結(jié)構(gòu)化數(shù)據(jù)的需求。

從應(yīng)用程序開發(fā)者與DBA的角度看，SequoiaDB巨杉數(shù)據(jù)庫(kù)所提供的關(guān)系型數(shù)據(jù)庫(kù)實(shí)例，與傳統(tǒng)MySQL、PostgreSQL和SparkSQL保持全兼容。例如，在SequoiaDB巨杉數(shù)據(jù)庫(kù)中的MySQL實(shí)例中，其所有的增刪改查語法、視圖、觸發(fā)器、事務(wù)、甚至訪問計(jì)劃都與傳統(tǒng)MySQL保持一致。

作為分布式數(shù)據(jù)庫(kù)，SequoiaDB巨杉數(shù)據(jù)庫(kù)的SQL實(shí)例用戶不需要關(guān)心底層的數(shù)據(jù)到底被分散在一臺(tái)還是多臺(tái)設(shè)備中。用戶可以簡(jiǎn)單創(chuàng)建一個(gè)分區(qū)表，向其中寫入上億條記錄，其數(shù)據(jù)將會(huì)被自動(dòng)分散在不同的物理設(shè)備中，對(duì)于應(yīng)用程序根本無需關(guān)注分庫(kù)分表，數(shù)據(jù)庫(kù)自動(dòng)提供分布式事務(wù)以及分布式訪問等能力。

雙活容災(zāi)與數(shù)據(jù)安全

雙活容災(zāi)即災(zāi)備系統(tǒng)中使主生產(chǎn)端數(shù)據(jù)庫(kù)和備機(jī)端數(shù)據(jù)庫(kù)同時(shí)在線運(yùn)行，處于可讀可寫狀態(tài)的技術(shù)。在銀行的交易系統(tǒng)中，雙活容災(zāi)能力不僅保證數(shù)據(jù)不丟失，也保證系統(tǒng)在遭遇事故時(shí)能夠短時(shí)間內(nèi)重新上線。在正常情況下，雙活架構(gòu)的兩個(gè)數(shù)據(jù)中心都能夠同時(shí)提供業(yè)務(wù)的讀寫服務(wù)，而當(dāng)一個(gè)中心宕機(jī)后，所有前端應(yīng)用可以立刻切換至依然存活的數(shù)據(jù)中心繼續(xù)使用。

SequoiaDB巨杉數(shù)據(jù)庫(kù)在內(nèi)核層面實(shí)現(xiàn)了多種容災(zāi)方式，包括同城雙活、同城雙中心、同城三中心、兩地三中心、與三地五中心等容災(zāi)策略。通過使用SequoiaDB巨杉數(shù)據(jù)庫(kù)的容災(zāi)與高可用機(jī)制，數(shù)據(jù)中心內(nèi)的服務(wù)器故障可以保證RTO與RPO均為零，而整個(gè)數(shù)據(jù)中心或同城網(wǎng)絡(luò)故障也可以做到秒級(jí)RTO、RPO=0。

關(guān)于SequoiaDB巨杉數(shù)據(jù)庫(kù)

巨杉數(shù)據(jù)庫(kù)專注新一代分布式數(shù)據(jù)庫(kù)技術(shù)研發(fā)，自2011年成立以來，堅(jiān)持從零開始打造分布式開源數(shù)據(jù)庫(kù)引擎，是中國(guó)首家連續(xù)兩年入選 Gartner 數(shù)據(jù)庫(kù)報(bào)告的數(shù)據(jù)庫(kù)廠商。

巨杉數(shù)據(jù)庫(kù)的主要產(chǎn)品包括 SequoiaDB 分布式關(guān)系型數(shù)據(jù)庫(kù)與 SequoiaCM 企業(yè)內(nèi)容管理軟件，企業(yè)級(jí)應(yīng)用場(chǎng)景包括分布式在線交易、數(shù)據(jù)中臺(tái)、分布式內(nèi)容管理等。

目前巨杉數(shù)據(jù)庫(kù)已在超過50家500強(qiáng)級(jí)別的大型商業(yè)銀行核心生產(chǎn)業(yè)務(wù)上線，企業(yè)用戶總數(shù)超過1000家。