Kafka文件存儲(chǔ)機(jī)制分析

　　《p》Kafka是什么《/p》《p》Kafka是最初由Linkedin公司開(kāi)發(fā)，是一個(gè)分布式、分區(qū)的、多副本的、多訂閱者，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當(dāng)做MQ系統(tǒng)），常見(jiàn)可以用于web/nginx日志、訪問(wèn)日志，消息服務(wù)等等，Linkedin于2010年貢獻(xiàn)給了Apache基金會(huì)并成為頂級(jí)開(kāi)源項(xiàng)目。《/p》《p》1.前言《/p》《p》一個(gè)商業(yè)化消息隊(duì)列的性能好壞，其文件存儲(chǔ)機(jī)制設(shè)計(jì)是衡量一個(gè)消息隊(duì)列服務(wù)技術(shù)水平和最關(guān)鍵指標(biāo)之一。 《br》 下面將從Kafka文件存儲(chǔ)機(jī)制和物理結(jié)構(gòu)角度，分析Kafka是如何實(shí)現(xiàn)高效文件存儲(chǔ)，及實(shí)際應(yīng)用效果。《/p》《p》2.Kafka文件存儲(chǔ)機(jī)制《/p》《p》Kafka部分名詞解釋如下：《/p》《p》Broker：消息中間件處理結(jié)點(diǎn)，一個(gè)Kafka節(jié)點(diǎn)就是一個(gè)broker，多個(gè)broker可以組成一個(gè)Kafka集群。 《br》 Topic：一類消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能夠同時(shí)負(fù)責(zé)多個(gè)topic的分發(fā)。 《br》 Partition：topic物理上的分組，一個(gè)topic可以分為多個(gè)partition，每個(gè)partition是一個(gè)有序的隊(duì)列。 《br》 Segment：partition物理上由多個(gè)segment組成，下面2.2和2.3有詳細(xì)說(shuō)明。 《br》 offset：每個(gè)partition都由一系列有序的、不可變的消息組成，這些消息被連續(xù)的追加到partition中。partition中的每個(gè)消息都有一個(gè)連續(xù)的序列號(hào)叫做offset，用于partition中唯一標(biāo)識(shí)的這條消息。 《br》 分析過(guò)程分為以下4個(gè)步驟：《/p》《p》topic中partition存儲(chǔ)分布 《br》 partiton中文件存儲(chǔ)方式 《br》 partiton中segment文件存儲(chǔ)結(jié)構(gòu) 《br》 在partition中如何通過(guò)offset查找message 《br》 通過(guò)上述4過(guò)程詳細(xì)分析，我們就可以清楚認(rèn)識(shí)到kafka文件存儲(chǔ)機(jī)制的奧秘?！?p》《p》2.1 topic中partition存儲(chǔ)分布 《br》 假設(shè)實(shí)驗(yàn)環(huán)境中Kafka集群只有一個(gè)broker，xxx/message-folder為數(shù)據(jù)文件存儲(chǔ)根目錄，在Kafka broker中server.properties文件配置（參數(shù)log.dirs=xxx/message-folder），例如創(chuàng)建2個(gè)topic名稱分別為report_push、launch_info， partitions數(shù)量都為partitions=4 《br》 存儲(chǔ)路徑和目錄規(guī)則為： 《br》 xxx/message-folder《/p》《p》|–report_push-0 《br》 |–report_push-1 《br》 |–report_push-2 《br》 |–report_push-3 《br》 |–launch_info-0 《br》 |–launch_info-1 《br》 |–launch_info-2 《br》 |–launch_info-3 《br》 在Kafka文件存儲(chǔ)中，同一個(gè)topic下有多個(gè)不同partition，每個(gè)partition為一個(gè)目錄，partiton命名規(guī)則為topic名稱+有序序號(hào)，第一個(gè)partiton序號(hào)從0開(kāi)始，序號(hào)最大值為partitions數(shù)量減1。 《br》 如果是多broker分布情況，請(qǐng)參考kafka集群partition分布原理分析《/p》《p》2.2 partiton中文件存儲(chǔ)方式 《br》 下面示意圖形象說(shuō)明了partition中文件存儲(chǔ)方式：《/p》《p》圖1 《br》 每個(gè)partion（目錄）相當(dāng)于一個(gè)巨型文件被平均分配到多個(gè)大小相等segment（段）數(shù)據(jù)文件中。但每個(gè)段segment file消息數(shù)量不一定相等，這種特性方便old segment file快速被刪除。 《br》 每個(gè)partiton只需要支持順序讀寫(xiě)就行了，segment文件生命周期由服務(wù)端配置參數(shù)決定。 《br》 這樣做的好處就是能快速刪除無(wú)用文件，有效提高磁盤(pán)利用率?！?p》《p》2.3 partiton中segment文件存儲(chǔ)結(jié)構(gòu) 《br》 讀者從2.2節(jié)了解到Kafka文件系統(tǒng)partition存儲(chǔ)方式，本節(jié)深入分析partion中segment file組成和物理結(jié)構(gòu)?！?p》《p》segment file組成：由2大部分組成，分別為index file和data file，此2個(gè)文件一一對(duì)應(yīng)，成對(duì)出現(xiàn)，后綴”.index”和“.log”分別表示為segment索引文件、數(shù)據(jù)文件。 《br》 segment文件命名規(guī)則：partion全局的第一個(gè)segment從0開(kāi)始，后續(xù)每個(gè)segment文件名為上一個(gè)segment文件最后一條消息的offset值。數(shù)值最大為64位long大小，19位數(shù)字字符長(zhǎng)度，沒(méi)有數(shù)字用0填充。 《br》 下面文件列表是筆者在Kafka broker上做的一個(gè)實(shí)驗(yàn)，創(chuàng)建一個(gè)topicXXX包含1 partition，設(shè)置每個(gè)segment大小為500MB，并啟動(dòng)producer向Kafka broker寫(xiě)入大量數(shù)據(jù)，如下圖2所示segment文件列表形象說(shuō)明了上述2個(gè)規(guī)則： 《br》 image《/p》《p》圖2《/p》《p》以上述圖2中一對(duì)segment file文件為例，說(shuō)明segment中index《—-》data file對(duì)應(yīng)關(guān)系物理結(jié)構(gòu)如下：《/p》《p》圖3《/p》《p》上述圖3中索引文件存儲(chǔ)大量元數(shù)據(jù)，數(shù)據(jù)文件存儲(chǔ)大量消息，索引文件中元數(shù)據(jù)指向?qū)?yīng)數(shù)據(jù)文件中message的物理偏移地址。 《br》 其中以索引文件中元數(shù)據(jù)3，497為例，依次在數(shù)據(jù)文件中表示第3個(gè)message（在全局partiton表示第368772個(gè)message）、以及該消息的物理偏移地址為497?！?p》《p》從上述圖3了解到segment data file由許多message組成，下面詳細(xì)說(shuō)明message物理結(jié)構(gòu)如下：《/p》《p》圖4《/p》《p》參數(shù)說(shuō)明：《/p》《p》關(guān)鍵字 解釋說(shuō)明 《br》 8 byte offset 在parition（分區(qū)）內(nèi)的每條消息都有一個(gè)有序的id號(hào)，這個(gè)id號(hào)被稱為偏移（offset），它可以唯一確定每條消息在parition（分區(qū)）內(nèi)的位置。即offset表示partiion的第多少message 《br》 4 byte message size message大小 《br》 4 byte CRC32 用crc32校驗(yàn)message 《br》 1 byte “magic” 表示本次發(fā)布Kafka服務(wù)程序協(xié)議版本號(hào) 《br》 1 byte “attributes” 表示為獨(dú)立版本、或標(biāo)識(shí)壓縮類型、或編碼類型。 《br》 4 byte key length 表示key的長(zhǎng)度，當(dāng)key為-1時(shí)，K byte key字段不填 《br》 K byte key 可選 《br》 value bytes payload 表示實(shí)際消息數(shù)據(jù)。 《br》 2.4 在partition中如何通過(guò)offset查找message 《br》 例如讀取offset=368776的message，需要通過(guò)下面2個(gè)步驟查找?！?p》《p》第一步查找segment file 《br》 上述圖2為例，其中00000000000000000000.index表示最開(kāi)始的文件，起始偏移量（offset）為0.第二個(gè)文件00000000000000368769.index的消息量起始偏移量為368770 = 368769 + 1.同樣，第三個(gè)文件00000000000000737337.index的起始偏移量為737338=737337 + 1，其他后續(xù)文件依次類推，以起始偏移量命名并排序這些文件，只要根據(jù)offset 《strong》二分查找《/strong》文件列表，就可以快速定位到具體文件。 《br》 當(dāng)offset=368776時(shí)定位到00000000000000368769.index|log《/p》《p》第二步通過(guò)segment file查找message 《br》 通過(guò)第一步定位到segment file，當(dāng)offset=368776時(shí)，依次定位到00000000000000368769.index的元數(shù)據(jù)物理位置和00000000000000368769.log的物理偏移地址，然后再通過(guò)00000000000000368769.log順序查找直到offset=368776為止?！?p》《p》從上述圖3可知這樣做的優(yōu)點(diǎn)，segment index file采取稀疏索引存儲(chǔ)方式，它減少索引文件大小，通過(guò)mmap可以直接內(nèi)存操作，稀疏索引為數(shù)據(jù)文件的每個(gè)對(duì)應(yīng)message設(shè)置一個(gè)元數(shù)據(jù)指針，它比稠密索引節(jié)省了更多的存儲(chǔ)空間，但查找起來(lái)需要消耗更多的時(shí)間。《/p》《p》3 Kafka文件存儲(chǔ)機(jī)制–實(shí)際運(yùn)行效果《/p》《p》實(shí)驗(yàn)環(huán)境：《/p》《p》Kafka集群：由2臺(tái)虛擬機(jī)組成 《br》 cpu：4核 《br》 物理內(nèi)存：8GB 《br》 網(wǎng)卡：千兆網(wǎng)卡 《br》 jvm heap： 4GB 《br》 詳細(xì)Kafka服務(wù)端配置及其優(yōu)化請(qǐng)參考：kafka server.properties配置詳解《/p》《p》圖5《/p》《p》從上述圖5可以看出，Kafka運(yùn)行時(shí)很少有大量讀磁盤(pán)的操作，主要是定期批量寫(xiě)磁盤(pán)操作，因此操作磁盤(pán)很高效。這跟Kafka文件存儲(chǔ)中讀寫(xiě)message的設(shè)計(jì)是息息相關(guān)的。Kafka中讀寫(xiě)message有如下特點(diǎn)：《/p》《p》寫(xiě)message《/p》《p》消息從java堆轉(zhuǎn)入page cache（即物理內(nèi)存）。 《br》 由異步線程刷盤(pán)，消息從page cache刷入磁盤(pán)。 《br》 讀message《/p》《p》消息直接從page cache轉(zhuǎn)入socket發(fā)送出去。 《br》 當(dāng)從page cache沒(méi)有找到相應(yīng)數(shù)據(jù)時(shí)，此時(shí)會(huì)產(chǎn)生磁盤(pán)IO，從磁 《br》 盤(pán)Load消息到page cache，然后直接從socket發(fā)出去 《br》 4.總結(jié)《/p》《p》Kafka高效文件存儲(chǔ)設(shè)計(jì)特點(diǎn)《/p》《p》Kafka把topic中一個(gè)parition大文件分成多個(gè)小文件段，通過(guò)多個(gè)小文件段，就容易定期清除或刪除已經(jīng)消費(fèi)完文件，減少磁盤(pán)占用。 《br》 通過(guò)索引信息可以快速定位message和確定response的最大大小。 《br》 通過(guò)index元數(shù)據(jù)全部映射到memory，可以避免segment file的IO磁盤(pán)操作。 《br》 通過(guò)索引文件稀疏存儲(chǔ)，可以大幅降低index文件元數(shù)據(jù)占用空間大小。