數(shù)據(jù)庫中的行列存儲(chǔ)區(qū)別介紹

大多數(shù)數(shù)據(jù)庫系統(tǒng)存儲(chǔ)一組數(shù)據(jù)記錄，這些記錄由表中的列和行組成。字段是列和行的交集：某種類型的單個(gè)值。

屬于同一列的字段通常具有相同的數(shù)據(jù)類型。例如，如果我們定義了一個(gè)包含用戶數(shù)據(jù)的表，那么所有的用戶名都將是相同的類型，并且屬于同一列。在邏輯上屬于同一數(shù)據(jù)記錄（通常由鍵標(biāo)識(shí)）的值的集合構(gòu)成一行。

對(duì)數(shù)據(jù)庫進(jìn)行分類的方法之一是按數(shù)據(jù)在磁盤上的存儲(chǔ)方式進(jìn)行分類：按行或按列進(jìn)行分類。表可以水平分區(qū)（將屬于同一行的值存儲(chǔ)在一起），也可以垂直分區(qū)（將屬于同一列的值存儲(chǔ)在一起）。圖1-2描述了這種區(qū)別：a）顯示了按列分區(qū)的值，b）顯示了按行分區(qū)的值。

▲圖1-2：面向列和行的存儲(chǔ)中的數(shù)據(jù)布局面向行的數(shù)據(jù)庫的例子很多：MySQL、PostgreSQL和大多數(shù)傳統(tǒng)的關(guān)系數(shù)據(jù)庫。而兩個(gè)開源的、面向列數(shù)據(jù)存儲(chǔ)的先驅(qū)則是MonetDB和C-Store（C-Store是Vertica的開源前身）。

01 面向行的數(shù)據(jù)布局

面向行的數(shù)據(jù)庫按記錄或行來存儲(chǔ)數(shù)據(jù)。它的布局非常接近表格的數(shù)據(jù)表示方法，即其中每一行都具有相同的字段集合。例如，面向行的數(shù)據(jù)庫可以有效地存儲(chǔ)用戶條目，其中包含姓名、出生日期和電話號(hào)碼：

| ID | Name | Birth Date | Phone Number |

| 10 | John | 01 Aug 1981 | +1 111 222 333 |

| 20 | Sam | 14 Sep 1988 | +1 555 888 999 |

| 30 | Keith | 07 Jan 1984 | +1 333 444 555 |

這種方法適用于如下的場(chǎng)景：數(shù)據(jù)記錄（姓名、出生日期和電話號(hào)碼）由多個(gè)字段組成且由某個(gè)鍵（在本例中為單調(diào)遞增的ID）所唯一標(biāo)識(shí)。表示單個(gè)用戶的數(shù)據(jù)記錄的所有字段通常被一起讀取。在創(chuàng)建數(shù)據(jù)時(shí)（例如，當(dāng)用戶填寫注冊(cè)表單時(shí)），我們也將它們一起寫入數(shù)據(jù)庫。與此同時(shí)，我們可以單獨(dú)修改某個(gè)字段。

在需要按行訪問數(shù)據(jù)的情況下，面向行的存儲(chǔ)最有用，將整行存儲(chǔ)在一起可以提高空間局部性。

因?yàn)橹T如磁盤之類的持久性介質(zhì)上的數(shù)據(jù)通常是按塊訪問的（換句話說，磁盤訪問的最小單位是塊），所以單個(gè)塊可能將包含某行中所有列的數(shù)據(jù)。

這對(duì)于我們希望訪問整個(gè)用戶記錄的情況非常有用，但這樣的存儲(chǔ)布局會(huì)使訪問多個(gè)用戶記錄某個(gè)字段的查詢（例如，只獲取電話號(hào)碼的查詢）開銷更大，因?yàn)槠渌侄蔚臄?shù)據(jù)在這個(gè)過程中也會(huì)被讀入。

02 面向列的數(shù)據(jù)布局

面向列的數(shù)據(jù)庫垂直地將數(shù)據(jù)進(jìn)行分區(qū)（即通過列進(jìn)行分區(qū)），而不是將其按行存儲(chǔ)。在這種數(shù)據(jù)存儲(chǔ)布局中，同一列的值被連續(xù)地存儲(chǔ)在磁盤上（而不是像前面的示例那樣將行連續(xù)地存儲(chǔ)）。

例如，如果我們要存儲(chǔ)股票市場(chǎng)的歷史價(jià)格，那么股票價(jià)格這一列的數(shù)據(jù)便會(huì)被存儲(chǔ)在一起。將不同列的值存儲(chǔ)在不同的文件或文件段中，可以按列進(jìn)行有效的查詢，因?yàn)樗鼈兛梢砸淮涡缘乇蛔x取出來，而不是先對(duì)整行進(jìn)行讀取后再丟棄掉不需要的列。

面向列的存儲(chǔ)非常適合計(jì)算聚合的分析型工作負(fù)載，例如查找趨勢(shì)、計(jì)算平均值等。如果邏輯記錄具有多個(gè)字段，但是其中某些字段（在本例中為股票價(jià)格）具有不同的重要性并且該字段所存儲(chǔ)的數(shù)據(jù)經(jīng)常被一起使用，那么我們一般使用復(fù)雜聚合來處理這樣的情況。

從邏輯角度看，表示股票市場(chǎng)價(jià)格的數(shù)據(jù)仍舊可以表示為表的形式：

| ID | Symbol | Date | Price |

| 1 | DOW | 08 Aug 2018 | 24，314.65 |

| 2 | DOW | 09 Aug 2018 | 24，136.16 |

| 3 | S&P | 08 Aug 2018 | 2，414.45 |

| 4 | S&P | 09 Aug 2018 | 2，232.32 |

而列式存儲(chǔ)則看起來與上述存儲(chǔ)布局完全不同—屬于同一列的值被緊密地存儲(chǔ)在一起：

Symbol： 1:DOW; 2:DOW; 3:S&P; 4:S&P

Date： 1:08 Aug 2018; 2:09 Aug 2018; 3:08 Aug 2018; 4:09 Aug 2018

Price： 1:24，314.65; 2:24，136.16; 3:2，414.45; 4:2，232.32

為了重建數(shù)據(jù)元組（這對(duì)于連接、篩選和多行聚合可能很有用），我們需要在列級(jí)別上保留一些元數(shù)據(jù)，以標(biāo)識(shí)與它關(guān)聯(lián)的其他列中的數(shù)據(jù)點(diǎn)是哪些。如果你顯式地執(zhí)行此操作，則需要每個(gè)值都必須持有一個(gè)鍵，這將導(dǎo)致數(shù)據(jù)重復(fù)并增加存儲(chǔ)的數(shù)據(jù)量。

針對(duì)這種需求，一些列存儲(chǔ)使用隱式標(biāo)識(shí)符（虛擬ID），并使用該值的位置（換句話說，其偏移量）將其映射回相關(guān)值。

在過去幾年中，可能由于對(duì)不斷增長(zhǎng)的數(shù)據(jù)集運(yùn)行復(fù)雜分析查詢的需求不斷增長(zhǎng)，我們看到了許多新的面向列的文件格式，如Apache Parquet、Apache ORC、RCFile，以及面向列的存儲(chǔ)，如Apache Kudu、ClickHouse，以及許多其他列式數(shù)據(jù)存儲(chǔ)組件。

03 區(qū)別與優(yōu)化

認(rèn)為行存儲(chǔ)和列存儲(chǔ)之間的區(qū)別僅在于數(shù)據(jù)的存儲(chǔ)方式有所不同，這是不充分的。選擇數(shù)據(jù)布局只是列式存儲(chǔ)所針對(duì)的一系列可能的優(yōu)化的步驟之一。

在一次讀取中，從同一列中讀取多個(gè)值可以顯著提高緩存利用率和計(jì)算效率。在現(xiàn)代CPU上，向量化指令可以使單條CPU指令一次處理多個(gè)數(shù)據(jù)點(diǎn)。

另外，將具有相同數(shù)據(jù)類型的值存儲(chǔ)在一起（例如，數(shù)字與數(shù)字在一起，字符串與字符串在一起）可以提高壓縮率。我們可以根據(jù)不同的數(shù)據(jù)類型使用不同的壓縮算法，并為每種情況選擇最有效的壓縮方法。

要決定是使用面向列還是面向行的存儲(chǔ)，你需要了解訪問模式。如果所讀取的記錄中的大多數(shù)或所有列都是需要的，并且工作負(fù)載主要由單條記錄查詢和范圍掃描組成，則面向行的存儲(chǔ)布局可能產(chǎn)生更好的結(jié)果。如果掃描跨越多行，或者在列的子集上進(jìn)行計(jì)算聚合，則值得考慮使用面向列的存儲(chǔ)布局。

04 寬列式存儲(chǔ)

面向列的數(shù)據(jù)庫不應(yīng)與寬列式存儲(chǔ)（如BigTable或HBase）相混淆。在這些數(shù)據(jù)庫中，數(shù)據(jù)表示為多維映射，列被分組為列族（通常存儲(chǔ)相同類型的數(shù)據(jù)），并且在每個(gè)列族中，數(shù)據(jù)被逐行存儲(chǔ)。此布局最適合存儲(chǔ)由一個(gè)鍵或一組鍵來檢索的數(shù)據(jù)。

BigTable論文中的一個(gè)典型示例是WebTable。一個(gè)WebTable存儲(chǔ)著一個(gè)帶有某個(gè)時(shí)間戳、包含如下信息的快照：網(wǎng)頁內(nèi)容、屬性以及它們之間的關(guān)系。

頁面由反向URL所標(biāo)識(shí)，并且所有屬性（如頁面內(nèi)容和錨，錨表示頁面之間的鏈接）由生成這些快照的時(shí)間戳來標(biāo)識(shí)。簡(jiǎn)而言之，它可以表示為一個(gè)嵌套的映射，如圖1-3所示。

▲圖1-3：WebTable的概念性結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)在具有層次索引的多維排序映射中：我們可以通過特定網(wǎng)頁的反向URL來定位與該網(wǎng)頁相關(guān)的數(shù)據(jù)，也可以通過時(shí)間戳來定位該網(wǎng)頁的內(nèi)容或錨。每一行都按其行鍵進(jìn)行索引。

在列族中，相關(guān)列被分組在一起（在本例中為contents和anchor），這些列族分別存儲(chǔ)在磁盤上。列族中的每個(gè)列都由列鍵標(biāo)識(shí)，該鍵是列族名稱和限定符（在本例中為html，cnnsi.com，my.look.ca）的組合。

列族可以按照時(shí)間戳存儲(chǔ)多個(gè)版本的數(shù)據(jù)。這種布局使得我們可以快速定位更高層的條目（在本例中為Web頁面）及其參數(shù)（不同版本的內(nèi)容和指向其他頁面的鏈接）。

理解寬列式存儲(chǔ)的概念表示是有用的，而它們的物理布局也有所不同。列族的數(shù)據(jù)布局示意圖如圖1-4所示：列族被單獨(dú)存儲(chǔ)，但在每個(gè)列族中，屬于同一鍵的數(shù)據(jù)被存儲(chǔ)在一起。

▲圖1-4：WebTable的物理結(jié)構(gòu)