在曙光舉辦的技術(shù)圓桌派上,來自業(yè)內(nèi)的多位大咖和專家就數(shù)字化轉(zhuǎn)型與分布式存儲發(fā)展趨勢展開討論。
支撐海量數(shù)據(jù)
分布式存儲該如何應(yīng)戰(zhàn)
伴隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息技術(shù)的快速發(fā)展和傳統(tǒng)產(chǎn)業(yè)數(shù)字化的轉(zhuǎn)型,新技術(shù)的應(yīng)用與推廣帶來海量數(shù)據(jù)的規(guī)?;奂S脩魧Υ鎯ο到y(tǒng)的穩(wěn)定性、性能和彈性擴(kuò)展能力有著更高的期待,而傳統(tǒng)集中式存儲煙囪式的部署模式在擴(kuò)展性和管理上都遇到非常多的挑戰(zhàn),主持人黃海峰在圓桌派一開始向嘉賓們提出了這一問題。
“2021年,分布式存儲和云存儲在量和銷售額方面的增速分別達(dá)到30%和20%,相較于傳統(tǒng)存儲的20%和8%,分布式存儲遠(yuǎn)遠(yuǎn)勝于傳統(tǒng)存儲?!辟惖项檰枠I(yè)務(wù)總監(jiān)高丹對2021年的存儲市場格局做出了總結(jié)。
“面對海量爆發(fā)的數(shù)據(jù),以前傳統(tǒng)集中式的存儲已經(jīng)不是最優(yōu)選了。”中科曙光存儲事業(yè)部副總經(jīng)理張新鳳表示,“對分布式存儲本身來說,破解海量數(shù)據(jù)存儲難題,也是有非常多的挑戰(zhàn)?!?/p>
首先,就是解決海量數(shù)據(jù)的存儲。海量不簡簡單單的是設(shè)備的堆集,技術(shù)難度是指數(shù)級的增長。要看廠商是否有豐富的超大部署規(guī)模和實(shí)施經(jīng)驗(yàn);第二是能對5G、AI、區(qū)塊鏈等新技術(shù)有更好的支持。這就需要統(tǒng)一協(xié)議的支持,打通從數(shù)據(jù)的采集、應(yīng)用、分析到歸檔的鏈路,做到異構(gòu)數(shù)據(jù)的融合;第三,針對用戶實(shí)際應(yīng)用,在產(chǎn)品性能和功能上做到深度的定制。
自研優(yōu)勢盡顯
曙光分布式存儲領(lǐng)跑市場
“存儲的市場,是一個需要很深的技術(shù)積累和很大資金投入的市場。曙光推出的產(chǎn)品是自研的。自研的路線,對客戶節(jié)約成本角度來說,還是對我們自己安全的角度來說,都是一套比較好的技術(shù)路線,我也希望我們自己國家的自研路線走的越來越好?!备叩け硎?。
“曙光做存儲,一開始就選擇了分布式存儲路線。”張新鳳介紹,2009年,曙光推出第一代全自主研發(fā)的分布式存儲系統(tǒng)ParaStor,基于POSIX協(xié)議,在做數(shù)據(jù)處理的時候有很好的性能體驗(yàn);2013年,數(shù)據(jù)中心已經(jīng)開始比較規(guī)?;牟渴穑@個時候我們完成了對NAS共享的支持;2019年,基本各個行業(yè)都在普及云化,我們?yōu)榱私鉀Q業(yè)務(wù)上云的問題,又推出分布式塊協(xié)議。現(xiàn)在, 曙光分布式存儲系統(tǒng)ParaStor完成了對文件、塊、對象和大數(shù)據(jù)協(xié)議的支持,基本覆蓋所有應(yīng)用場景。
基于自研優(yōu)勢,曙光可根據(jù)不同行業(yè)用戶的不同需求,進(jìn)行代碼級的定制化設(shè)計(jì)與開發(fā),產(chǎn)品功能和性能指標(biāo)可大大優(yōu)于同類產(chǎn)品?!氨热缥覀兊姆植际綄ο?,單桶就可以實(shí)現(xiàn)4K小文件千億級別的存儲,一個系統(tǒng)TPS的聚合性能可以達(dá)到百萬級,這種水平是業(yè)內(nèi)一流的?!睆埿馒P說。
曙光成就產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型
最佳實(shí)踐
“分布式的應(yīng)用越來越廣泛,但細(xì)化到具體的應(yīng)用場景里,又會發(fā)現(xiàn)應(yīng)用需求是千差萬別的?!泵鎸Ξ?dāng)前分布式存儲多樣化的應(yīng)用需求,張新鳳表示“要快速的響應(yīng)市場需求,推出合適的產(chǎn)品,首先要有強(qiáng)有力的團(tuán)隊(duì)支撐,其次是對行業(yè)的深耕和理解,基于以上兩者的優(yōu)勢,對用戶推出定制化的產(chǎn)品及運(yùn)維服務(wù)?!?/p>
張新鳳介紹,在某科研機(jī)構(gòu)氣候模擬和科學(xué)研究項(xiàng)目中,為了幫助用戶解決業(yè)務(wù)流程時間過長的問題,曙光集結(jié)專業(yè)研發(fā)團(tuán)隊(duì)為客戶定制加速技術(shù)。在計(jì)算和存儲節(jié)點(diǎn)之間,配備了大內(nèi)存和高速NVMe的性能加速節(jié)點(diǎn),把大量4K非對齊IO在這個節(jié)點(diǎn)上先做聚合,再到存儲上面。最后用戶實(shí)測使用性能提升8到10倍。“對存儲技術(shù)有了一定的積累,對應(yīng)用有相當(dāng)?shù)睦斫猓拍苎杆僮サ接脩粜枨笸袋c(diǎn),快速響應(yīng)。”
“在石油勘探過程中,數(shù)據(jù)存儲和分析處理的需求呈幾何倍增長,對存儲容量以及擴(kuò)展性都提了很高的要求;石油勘探領(lǐng)域?qū)κ占蟻淼臄?shù)據(jù),需要提供TB級及PB級的讀寫性能,來滿足我們現(xiàn)在前端的密集計(jì)算和模擬?!?,中石化石油物探技術(shù)研究院信息中心技術(shù)主管葛鑫提及。
“在輿情數(shù)據(jù)智能分析時,客戶要求系統(tǒng)架構(gòu)能融合訓(xùn)練、分析及推理,傳統(tǒng)存算一體化的模式就不太適用?!敝锌铺飙^區(qū)域拓展部總經(jīng)理劉維秦在分布式存儲應(yīng)用中談到,”曙光原生HDFS協(xié)議的支持,在存算分離的基礎(chǔ)上,保證了性能的指數(shù)級提升,還可以支持更多大數(shù)據(jù)高級功能?!?/p>
“未來的存儲系統(tǒng)要很好地支撐應(yīng)用,無論是性能的極致優(yōu)化,或者是功能的定制”,張新鳳對存儲市場的未來發(fā)展演進(jìn)做出判斷,“沒有一蹴而就的捷徑可以走,更多的是天長日久的積累和演進(jìn)”,作為國內(nèi)第一批做自研分布式存儲的廠商,曙光將以更扎實(shí)的科研技術(shù)、更先進(jìn)的存儲產(chǎn)品、更優(yōu)質(zhì)的存儲服務(wù),助力產(chǎn)業(yè)升級和數(shù)字化轉(zhuǎn)型。
原文標(biāo)題:曙光技術(shù)圓桌派——分布式是新存儲時代的破題密鑰
文章出處:【微信公眾號:中科曙光】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
審核編輯:湯梓紅
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6722瀏覽量
88342 -
存儲
+關(guān)注
關(guān)注
13文章
4134瀏覽量
85312 -
數(shù)字化
+關(guān)注
關(guān)注
8文章
8372瀏覽量
61402
原文標(biāo)題:曙光技術(shù)圓桌派——分布式是新存儲時代的破題密鑰
文章出處:【微信號:sugoncn,微信公眾號:中科曙光】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論