深度剖析異構(gòu)數(shù)據(jù)存儲(chǔ)

Part 01●??異構(gòu)存儲(chǔ)架構(gòu)?●?

數(shù)據(jù)的存儲(chǔ)需要根據(jù)使用場(chǎng)景的不同而有所不同，對(duì)于那些需要快速訪問的數(shù)據(jù)應(yīng)該存儲(chǔ)在高速訪問設(shè)備，并通過高性能存儲(chǔ)系統(tǒng)進(jìn)行訪問；而那些需要進(jìn)行大數(shù)據(jù)計(jì)算、歸檔處理的數(shù)據(jù)則應(yīng)該存儲(chǔ)在廉價(jià)、低速的設(shè)備中，通過分布式的方式來計(jì)算。

異構(gòu)存儲(chǔ)架構(gòu)是一種多存儲(chǔ)設(shè)備的系統(tǒng)架構(gòu)，通過對(duì)數(shù)據(jù)進(jìn)行自動(dòng)化管理，根據(jù)其訪問頻率等指標(biāo)，將數(shù)據(jù)劃分為冷數(shù)據(jù)和熱數(shù)據(jù)，進(jìn)而控制其存儲(chǔ)在不同的設(shè)備上，達(dá)到優(yōu)化性能，降低存儲(chǔ)成本的目的。

Part 02●??異構(gòu)存儲(chǔ)面臨地挑戰(zhàn)?●?

在異構(gòu)數(shù)據(jù)存儲(chǔ)增強(qiáng)中，主要面臨以下幾個(gè)核心問題：

如何選擇合適的存儲(chǔ)介質(zhì)？

存儲(chǔ)介質(zhì)既要滿足性能、成本需求，同時(shí)還要滿足可靠性、可用性、容量可擴(kuò)展、運(yùn)維簡(jiǎn)單等需求。

如何定義業(yè)務(wù)的冷熱數(shù)據(jù)，并且在存儲(chǔ)介質(zhì)中進(jìn)行分層？

在業(yè)務(wù)上，如何描述哪部分是熱數(shù)據(jù)，哪部分是冷數(shù)據(jù)，是在產(chǎn)品層面上需要考慮的問題。

冷熱數(shù)據(jù)如何遷移？

隨著時(shí)間流逝，業(yè)務(wù)上的熱數(shù)據(jù)降溫為冷數(shù)據(jù)后，存儲(chǔ)介質(zhì)如何感知溫度的變化并執(zhí)行數(shù)據(jù)遷移來降低存儲(chǔ)成本。

如何提高冷數(shù)據(jù)的訪問性能？

冷數(shù)據(jù)仍然會(huì)被訪問，比如數(shù)據(jù)運(yùn)營(yíng)分析要求，用戶需對(duì)過去一年的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析來進(jìn)行歷史回顧和趨勢(shì)分析。由于冷數(shù)據(jù)體量大，查詢涉及的數(shù)據(jù)多，存儲(chǔ)介質(zhì)性能低，如果不進(jìn)行優(yōu)化，對(duì)冷數(shù)據(jù)的元信息以及內(nèi)容訪問可能出現(xiàn)瓶頸影響業(yè)務(wù)使用。

Part 03●??冷熱數(shù)據(jù)識(shí)別?●?

通過定義識(shí)別策略，例如訪問頻率、數(shù)據(jù)大小、最近訪問時(shí)間，這些因素用來輔助異構(gòu)存儲(chǔ)系統(tǒng)，成為判別冷熱數(shù)據(jù)的指標(biāo)。

數(shù)據(jù)訪問的頻繁度。即在一段時(shí)間內(nèi)對(duì)一個(gè)數(shù)據(jù)訪問越多，我們就越將其定義為熱數(shù)據(jù)。

數(shù)據(jù)大小。一般數(shù)據(jù)體積較大的數(shù)據(jù)是不能作為熱數(shù)據(jù)的，如果訪問頻率很高，需要考慮將其進(jìn)行拆分，分多個(gè)維度進(jìn)行讀取，而不是作為一個(gè)整體進(jìn)行存儲(chǔ)。

數(shù)據(jù)訪問的時(shí)效性。即訪問的數(shù)據(jù)越接近當(dāng)前時(shí)間點(diǎn)，我們也會(huì)將其定義為熱數(shù)據(jù)。因?yàn)榇蠖鄶?shù)應(yīng)用場(chǎng)景都具備空間和時(shí)間上的局部性，當(dāng)前訪問的數(shù)據(jù)，接下來被訪問的概率要相對(duì)大一些。

Part 04●??異構(gòu)數(shù)據(jù)遷移?●?

在將數(shù)據(jù)塊按照存儲(chǔ)策略遷移時(shí)，通過將數(shù)據(jù)進(jìn)行自動(dòng)分析，結(jié)合策略對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮、小文件合并，同時(shí)針對(duì)平臺(tái)級(jí)數(shù)據(jù)進(jìn)行自動(dòng)備份和遷移，達(dá)成業(yè)務(wù)無感知。

分池存儲(chǔ)的核心是數(shù)據(jù)在不同存儲(chǔ)層之間的流動(dòng)， 其主要解決的問題是不同介質(zhì)間性能與容量差異，數(shù)據(jù)遷移的因素主要包括：存儲(chǔ)池空間水位，數(shù)據(jù)冷熱特性，手動(dòng)遷移數(shù)據(jù)等。

寫緩存：通常情況下，前端數(shù)據(jù)首先寫入SSD層即返回，滿足用戶對(duì)于高吞吐低延遲的需求，隨后數(shù)據(jù)在后臺(tái)被遷移到HDD層，整個(gè)過程對(duì)于用戶無感知。在吞吐實(shí)測(cè)過程中，SSD+HDD集群基本同時(shí)兼顧了SSD的性能和HDD的容量，成本顯著低于SSD集群；?

讀緩存：由高低速介質(zhì)容量配比決定，大部分?jǐn)?shù)據(jù)最終被寫入HDD層。根據(jù)數(shù)據(jù)局部熱點(diǎn)特性，高速層會(huì)同時(shí)會(huì)成為讀緩存，具體而言，系統(tǒng)根據(jù)數(shù)據(jù)冷熱特性盡量將熱點(diǎn)數(shù)據(jù)遷移至高速設(shè)備，最大程度上提升讀性能。

審核編輯：陳陳