百度智能云以虛擬化塊存儲CDS打造云上多樣解決方案

在數(shù)字經(jīng)濟時代，海量的數(shù)據(jù)成為數(shù)字經(jīng)濟的重要生產(chǎn)要素，特別是受今年疫情的影響，線下的生產(chǎn)和生活迅速的轉(zhuǎn)移到了線上，相應(yīng)的數(shù)據(jù)也再次迎來了新一波快速增長。 對于百度智能云這樣的云服務(wù)商來說，海量的數(shù)據(jù)既是資產(chǎn)也是壓力，尤其是大量冷數(shù)據(jù)的產(chǎn)生讓存儲分層變得“迫在眉睫”。在此背景下，磁帶庫因性價比較高且能夠快速寫入，成為了百度智能云快速存檔冷數(shù)據(jù)的理想之選。

但在實際應(yīng)用中，百度智能云發(fā)現(xiàn)磁帶庫雖然可以快速寫入數(shù)據(jù)，但數(shù)據(jù)首先需要在緩存盤上進行序列化，這就需要一款快速的緩存盤作為載體化解這一難題?；诖?，百度智能云創(chuàng)新的引入了英特爾傲騰固態(tài)盤，借助其速度和耐用性兼?zhèn)涞奶匦?，不僅大大提升了磁帶庫備份的速度，也滿足了歸檔存儲應(yīng)用中繁重的讀/寫混合型工作負載的要求。 毫無疑問，百度智能云與英特爾的成功合作，不僅為數(shù)據(jù)歸檔和備份的優(yōu)化和升級提供了重要的參考和借鑒方向，也讓更多的行業(yè)和用戶享受到了云存儲服務(wù)所帶來的好處，真正實現(xiàn)了冷數(shù)據(jù)在更長久周期內(nèi)的可用性、可回溯性和可審計性。 冷數(shù)據(jù)帶來的挑戰(zhàn) 今天，海量數(shù)據(jù)的增長正在成為一種“新常態(tài)”，而保存和管理這些海量數(shù)據(jù)也變得日益困難，特別是把所有數(shù)據(jù)保存在同一個存儲介質(zhì)中更是不切實際的。 因此，業(yè)內(nèi)通常的做法是，將數(shù)據(jù)根據(jù)類型的不同劃分為三個分層，即熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)。其中，最“冷”的數(shù)據(jù)十分適合存儲到磁帶庫這種價格便宜的長期存儲介質(zhì)之中。

得益于光纖通道和串行連接 SCSI（SAS）等技術(shù)的發(fā)展，如今磁帶庫的順序讀寫性能也得以不斷提升。然而，磁帶庫本身的寫入速度雖快，但是基于磁帶庫的備份架構(gòu)卻存在一個常常會妨礙數(shù)據(jù)以其最大速率寫入磁帶庫的技術(shù)障礙。 具體來說，在將數(shù)據(jù)備份到磁帶庫上之前，首先需要將數(shù)據(jù)收集到緩存層的數(shù)據(jù)節(jié)點上，以便為寫入磁帶介質(zhì)做準(zhǔn)備(進行序列化)。對于此類數(shù)據(jù)節(jié)點中的SAS RAID緩存層磁盤，其讀取和寫入操作通常無法達到讓磁帶庫管道飽和的速度，進而導(dǎo)致出現(xiàn)備份速度緩慢等挑戰(zhàn)，無法發(fā)揮磁帶庫的高速潛能。

百度智能云舊備份架構(gòu)中緩存盤面臨的挑戰(zhàn) 以百度智能云此前使用的機械硬盤（HDD）為例，其讀取速度僅為200 MB/s，不但難以滿足磁帶庫寫入速度為每秒600 MB/s的要求，還把磁帶庫的備份速度降低了三分之二，使得大量數(shù)據(jù)存儲歸檔和備份工作變得效率低下。 例如，通過安裝在車隊 300 輛車上的物聯(lián)網(wǎng)（IoT）傳感器，百度的自動駕駛汽車解決方案生成了大量數(shù)據(jù)，且已記錄超過200萬公里，這些物聯(lián)網(wǎng)數(shù)據(jù)大部分被歸類為“冷”數(shù)據(jù)，并通過數(shù)據(jù)節(jié)點發(fā)送到磁帶上以進行長期存儲，但由于緩存層磁盤速度較慢，使得這個工作變得十分的緩慢。 再如，百度的數(shù)據(jù)保留政策要求每3-6年就要將存儲在磁帶庫上的數(shù)據(jù)轉(zhuǎn)移至新磁帶庫，這就需要使用緩存盤，而這種超負荷的緩存工作負載（不斷寫入和讀取越來越多的存檔數(shù)據(jù)），同樣也暴露出系統(tǒng)的低效率問題。 由此可見，快速的磁帶庫離不開快速緩存盤，緩存盤的性能之于數(shù)據(jù)備份速度的重要性不言而喻。為了打破緩存層磁盤帶來的“瓶頸”，百度智能云希望通過尋找到一種更好的緩存驅(qū)動替代方案，以進一步提升磁帶庫備份的速度。 緩存盤選型的難題 根據(jù)自身的實際業(yè)務(wù)情況，百度智能云團隊在考慮其緩存驅(qū)動的替代方案時，提出了以下數(shù)據(jù)層要求： 一是，讀取速度要求方面，希望在寫入壓力很大的情況下，替代的緩存盤也需具備600 MB/s的讀取性能，以匹配磁帶庫600 MB/s的寫入速度。 二是，寫速度要求方面，為了保持磁帶寫入速度飽和以提高成本效益，磁盤將新數(shù)據(jù)寫入緩存盤的速度應(yīng)至少與緩存數(shù)據(jù)寫入磁帶的速度相等，即600 MB/s。 三是，耐用性要求方面，磁帶庫的存儲容量為16PB，而百度智能云團隊希望緩 存盤能夠持續(xù)服務(wù)三代磁帶，為了實現(xiàn)此目標(biāo)，緩存盤需支持總寫入量為48 PBW （硬盤理論壽命所對應(yīng)的總寫入數(shù)據(jù)量）的耐用性。 為此，百度智能云團隊首先研究了使用基于NAND的SSD替代數(shù)據(jù)節(jié)點上基于HDD的緩存盤。但是研究顯示，基于NAND的SSD的局限在于，隨機寫入操作需要大量的后臺介質(zhì)管理，這會大大降低每個磁盤的吞吐量并縮短磁盤壽命。 在此基礎(chǔ)上，百度的團隊又評估多個 NAND 驅(qū)動器的兩種配置，包括16盤 RAID0 的標(biāo)準(zhǔn)耐用性配置，以及6盤 RAID0+1的中等耐用性配置，雖然這兩種配置方案都能滿足600 MB/s的讀取和寫入要求，但卻需要過多的NVMe插槽才能達到所需的吞吐率，這將使得維護工作變得更加復(fù)雜。 此外，根據(jù)設(shè)備規(guī)格進行的計算還表明，這兩種配置方案也都不能滿足耐用性要求，其PBW分別為30.72和36.75，顯然和百度智能云所確定的48 PBW目標(biāo)“相距甚遠”。 不難看出，無論是傳統(tǒng)的HDD還是基于NAND的SSD，都難以滿足百度智能云希望實現(xiàn)的性能和耐用性要求，通過多方的對比，最終百度智能云團隊將目標(biāo)鎖定在了英特爾傲騰固態(tài)盤上。 速度和耐用性兼?zhèn)?測試顯示，百度智能云通過采用英特爾傲騰固態(tài)盤作為數(shù)據(jù)節(jié)點上的緩存盤，該解決方案可在600 MB/s (隨機)寫入工作負載下，實現(xiàn) 600 MB/s 的讀取性能。與基于 NAND 的固態(tài)盤不同，英特爾傲騰固態(tài)盤的優(yōu)勢還在于，無論其寫入壓力如何，都能保持讀取響應(yīng)時間不變。

將英特爾傲騰固態(tài)盤的鏡像用作緩存盤，滿足了百度的備份解決方案要求 不僅如此，英特爾傲騰固態(tài)盤的高耐用性(164 PBW 和每日整盤寫入次數(shù)為 60 DWPD)，遠遠超出了48 PBW的耐用性要求，通過這一全新解決方案，百度可以在 相同時間內(nèi)備份三倍的數(shù)據(jù)量。 可以看到，借助英特爾傲騰固態(tài)盤，百度智能云不僅實現(xiàn)了出色耐用性的同時，也滿足繁重的讀/寫混合型工作負載帶寬要求，而通過此解決方案，百度現(xiàn)在備份相同數(shù)據(jù)量所需的時間比之前的解決方案減少了67%。 對此，百度智能云相關(guān)人士表示：“英特爾傲騰固態(tài)盤憑借其高帶寬、高耐用性、低延遲和易于維護的優(yōu)勢，為百度帶來了高價值，并幫助我們加快創(chuàng)新磁帶庫解決方案，同時降低成本、提高效率?！?br />
值得一提的是，百度智能云還進一步發(fā)揮其產(chǎn)品及技術(shù)優(yōu)勢，將英特爾傲騰方案推上云端，以智能云虛擬化塊存儲 CDS、云原生數(shù)據(jù)庫 GaiaDB 等產(chǎn)品為出口，打造云上多樣解決方案。而傲騰方案在較大的寫入壓力下依然能保持數(shù)據(jù)的快速響應(yīng)及高性能讀寫，讓百度智能云為客戶提供超低成本及便攜的數(shù)據(jù)管理能力，輸出持續(xù)先進的云服務(wù)，豐富云端存儲產(chǎn)品和體驗打下了堅實的基礎(chǔ)。 總的來看，今天數(shù)據(jù)的生命周期正變得越來越長，特別是過去幾年國家出臺了信息安全和個人隱私的相關(guān)法律，而被合規(guī)、數(shù)據(jù)保護等痛點困擾的企業(yè)也不在少數(shù)；再加上企業(yè)對數(shù)據(jù)越來越重視，特別是某些關(guān)鍵領(lǐng)域的企業(yè)甚至要求生產(chǎn)環(huán)境下的數(shù)據(jù)，需要有五年、十年，甚至數(shù)個十年的保存，由此也讓數(shù)據(jù)歸檔變得更加重要。 目前，類似的需求在視頻監(jiān)控、生命科學(xué)、金融服務(wù)、媒體和娛樂、政府、醫(yī)療等行業(yè)特別明顯。所以，未來如何保障數(shù)據(jù)在更長久周期內(nèi)的可用性、可回溯性、可審計性，無疑今天用戶最為關(guān)注的話題。

而在此過程中，百度智能云通過將英特爾傲騰固態(tài)盤作為緩存數(shù)據(jù)提升磁帶庫備份速度，不僅破解了海量數(shù)據(jù)增長帶來的歸檔和備份的壓力，也為眾多用戶提供了更為豐富的產(chǎn)品體驗。

原文標(biāo)題：【觀察】百度智能云：釋放“傲騰上云”紅利，重新定義歸檔存儲服務(wù)

文章出處：【微信公眾號：高端存儲知識】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq