海量數(shù)據(jù)的傳統(tǒng)存儲存在的挑戰(zhàn)及解決方法

在西方神話里，諾亞建造了一艘方舟，帶著各種生物躲避洪水，安然度過“世界末日”。2016年，中國也有一艘這樣“諾亞方舟”啟航——國家級基因庫開始運營，承載人類及其他生物的遺傳樣本和密碼。

它的發(fā)展不僅讓我們了解世界萬物的過去，還將影響未來。在未來的基因時代，或許到醫(yī)院看病，只需基因就能作為“身份證”和病歷;或許實現(xiàn)大熊貓“吸貓”自由;遠(yuǎn)古的恐龍、猛犸象回到現(xiàn)代......

但通向這樣的未來，需要一些堅實的“磚石”鋪路——生物樣本和數(shù)據(jù)。

如“生命銀行”一般，大量和生命相關(guān)的科學(xué)數(shù)據(jù)，通過服務(wù)器、數(shù)據(jù)中心進行存儲、讀取、合成運用和共享，不僅保存生物遺傳資源和物種多樣性，生物遺傳信息數(shù)據(jù)化，還為物種多樣提供新的保障，為精準(zhǔn)醫(yī)學(xué)提供大數(shù)據(jù)支持。

但隨著物種與信息資源的數(shù)據(jù)爆炸性增長，傳統(tǒng)存儲，面對海量的數(shù)據(jù)，存在著諸多挑戰(zhàn)。主要有以下幾方面：

第一，成本高。傳統(tǒng)存儲設(shè)備通用性較差，隨著業(yè)務(wù)需求的增長，未來的設(shè)備投資加上后期的維護、升級擴容的成本將會非常高。

第二，性能低。單節(jié)點的I/O性能瓶頸無法逾越，容量和性能都不容易進行擴展，難以支撐海量數(shù)據(jù)的高并發(fā)、低延時的場景。

第三，安全隱患多。數(shù)據(jù)傳輸過程中存在泄露、篡改、被數(shù)據(jù)流攻擊等風(fēng)險隱患。

根據(jù)面臨挑戰(zhàn)問題，融科聯(lián)創(chuàng)與東芝傾力合作，為國家級基因庫推出了低成本、高速穩(wěn)定性能，且兼具安全以及充足儲存空間的分布式存儲方案。

方案使用了融科聯(lián)創(chuàng)的超大存儲產(chǎn)品946SE2C-R1K66JBOD(4U60盤位)服務(wù)器，配套2U12盤位平臺作為管理節(jié)點，包含了高速穩(wěn)定的東芝企業(yè)級硬盤，完美替代了原系統(tǒng)存在的高成本、低帶寬、高風(fēng)險的存儲方式。

高性能、低功耗的東芝全新16TB SATA硬盤，與融科聯(lián)創(chuàng)具備智能優(yōu)化引擎的分布式文件存儲系統(tǒng)雙管齊下，在消除協(xié)議處理和轉(zhuǎn)換的“瓶頸”的同時，顯著提升數(shù)據(jù)流轉(zhuǎn)全鏈路速度，單節(jié)點大于3GB/s，實現(xiàn)業(yè)界少有的分布式存儲微秒級延時的極速性能。

而對于存儲空間，采用了全對稱分布式存儲架構(gòu)，在線擴展至EB級別存儲容量，并且支持多節(jié)點在線平滑擴展，I/O的客戶端數(shù)目、I/O帶寬和存儲容量根據(jù)用戶需求實現(xiàn)了高可擴展性，規(guī)模具有很強的伸縮性。

當(dāng)然，為了應(yīng)對高并發(fā)場景，在存儲架構(gòu)、存儲管理軟件及存儲核心算法等方面的核心技術(shù)，采用特有的共享鎖機制，實現(xiàn)對數(shù)據(jù)進行寫入或讀取時可以獲得最大程度上的I/O并發(fā)能力，輕松承載“數(shù)千個超高并發(fā)訪問+上萬個超高并發(fā)節(jié)點+百億級超高文件存儲”。

基于“硬件+軟件+體系結(jié)構(gòu)+網(wǎng)絡(luò)”于一體的高可靠存儲平臺，具備自我調(diào)優(yōu)能力，實現(xiàn)無論復(fù)雜性如何，無論大文件、小文件還是混合負(fù)載場景下，都提供始終如一的快速存儲，保障數(shù)據(jù)零丟失、業(yè)務(wù)零中斷。

上述提及的東芝企業(yè)級容量型硬盤，擁有超大容量，適用于有著海量存儲需求的存儲系統(tǒng)與數(shù)據(jù)中心。其中MG系列包含業(yè)界首款9碟存儲設(shè)備，提供高達18TB的傳統(tǒng)磁記錄容量，目前更是在全力攻克30TB大關(guān)!

其氦密封設(shè)計還可提升存儲密度，降低氣動阻力，從而降低運行功耗，有助實現(xiàn)總體擁有成本(TCO)的優(yōu)化，滿足基因庫對存儲系統(tǒng)性能高速、穩(wěn)定、安全以及未來儲存空間充足的要求。

東芝與融科聯(lián)創(chuàng)也將保持長期且密切的合作關(guān)系，未來將共同精研更多創(chuàng)新存儲技術(shù)，助力國家基因庫貫穿Data To Value(從數(shù)據(jù)到價值)的價值鏈，提供更智慧、更高效、更便捷的存儲技術(shù)支撐。

原文標(biāo)題：福利 | 東芝攜手融科聯(lián)創(chuàng)，助力國家級基因庫存儲升級!

文章出處：【微信公眾號：東芝硬盤】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅