性能一直是存儲(chǔ)的核心話題,如果說可靠性是業(yè)務(wù)數(shù)據(jù)的生命線,那么性能就是業(yè)務(wù)加速發(fā)展的推進(jìn)器。
存儲(chǔ)系統(tǒng)的性能來自于軟件和硬件的配合,硬件體系包括CPU、內(nèi)存、網(wǎng)絡(luò)、硬盤,組網(wǎng)方式,軟件架構(gòu)等等,所有這些軟硬件協(xié)同作用的合力就表現(xiàn)為存儲(chǔ)系統(tǒng)對(duì)外提供的性能吞吐能力。
相比于傳統(tǒng)存儲(chǔ),分布式存儲(chǔ)的性能問題尤為棘手,涉及到多個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)轉(zhuǎn)發(fā),IO路徑更長(zhǎng),因此對(duì)性能的影響點(diǎn)更多,更復(fù)雜。純軟件由于其硬件的多樣性,往往出現(xiàn)性能體驗(yàn)的波動(dòng)和不穩(wěn)定,在某些配置上得到的性能數(shù)據(jù),在最終用戶得到的硬件配置上卻不一定能達(dá)到。
面向場(chǎng)景 補(bǔ)齊影響性能的每塊短板
新華三集團(tuán)存儲(chǔ)產(chǎn)品線X10000產(chǎn)品首席架構(gòu)師陳釗介紹:“存儲(chǔ)系統(tǒng)的性能問題是個(gè)典型的木桶效應(yīng),再解決當(dāng)前短板之前,很難準(zhǔn)確預(yù)知下一個(gè)短板;或者是否存在比當(dāng)前發(fā)現(xiàn)的短板更短的短板。存儲(chǔ)性能優(yōu)化團(tuán)隊(duì)通過在整個(gè)存儲(chǔ)IO路徑協(xié)議棧上進(jìn)行細(xì)致的打點(diǎn)分析,逐個(gè)排查性能瓶頸點(diǎn),不斷突破性能極限。”
“同時(shí),我們深耕業(yè)務(wù)場(chǎng)景,比如廣電、運(yùn)營(yíng)商、HPC等,專項(xiàng)進(jìn)行性能優(yōu)化,從硬件驅(qū)動(dòng)到協(xié)議棧,一層一層分析系統(tǒng)瓶頸,逐項(xiàng)優(yōu)化。H3C UniStor X10000存儲(chǔ)一體機(jī)從用戶場(chǎng)景出發(fā),通過軟硬件的聯(lián)合調(diào)優(yōu),基于業(yè)務(wù)場(chǎng)景給出最佳的硬件典配,交付用戶有保障的存儲(chǔ)性能?!?/p>
除了針對(duì)各項(xiàng)場(chǎng)景應(yīng)用進(jìn)行定向優(yōu)化精細(xì)開發(fā),研發(fā)團(tuán)隊(duì)還介紹了X10000性能優(yōu)化過程中的一個(gè)小小的難點(diǎn)……
不走回頭路 用聰明的方法解決問題
原來,隨著新的特性功能不斷開發(fā),加載了新功能后的產(chǎn)品,很有可能出現(xiàn)性能的倒退。那么,要怎樣解決和避免這樣的問題呢?
負(fù)責(zé)自動(dòng)化性能看護(hù)系統(tǒng)的研發(fā)人員馮翔宇介紹,中央電視臺(tái)和中科大洋聯(lián)合poc測(cè)試是一次難忘的經(jīng)歷,當(dāng)時(shí),X10000存儲(chǔ)系統(tǒng)在用戶的測(cè)試環(huán)境中出現(xiàn)了性能回退。為了排查確切的引入問題源,測(cè)試團(tuán)隊(duì)重新對(duì)每一個(gè)列入問題單的性能影響因素進(jìn)行了測(cè)試評(píng)估,整個(gè)周期持續(xù)了一月有余。
同時(shí),針對(duì)新版本性能回退的主要矛盾,測(cè)試團(tuán)隊(duì)決定建立一套自動(dòng)化性能系統(tǒng)。通過自動(dòng)化CI集成,在性能倒退的最初就能識(shí)別并解決;當(dāng)性能優(yōu)化成果合入版本后,又刷新性能基線。從而使存儲(chǔ)產(chǎn)品的性能能夠不斷提升。
馮翔宇介紹,性能自動(dòng)化系統(tǒng)建立初期,測(cè)試團(tuán)隊(duì)查找和嘗試了大量的開源工具和資料,決定了基于一個(gè)開源的基礎(chǔ)框架。真正開展后卻發(fā)現(xiàn),框架雖然體系清晰,但是原生系統(tǒng)卻是基于塊業(yè)務(wù)實(shí)現(xiàn)的,且該系統(tǒng)實(shí)際上僅僅是一個(gè)預(yù)研階段的產(chǎn)物,實(shí)際操作的資料基本沒有。在初次部署時(shí),便有層層報(bào)錯(cuò)。
測(cè)試團(tuán)隊(duì)花費(fèi)了大量的時(shí)間梳理系統(tǒng)框架、終于建立了文件系統(tǒng)測(cè)試系統(tǒng)框架。然而,進(jìn)行初步測(cè)試的過程中,卻發(fā)現(xiàn)存儲(chǔ)關(guān)注的性能數(shù)據(jù)分析和統(tǒng)計(jì)功能并不適配。
眾所周知,存儲(chǔ)產(chǎn)品的性能測(cè)試與硬件環(huán)境強(qiáng)相關(guān),在保證性能測(cè)試數(shù)據(jù)能及時(shí)、有效提供的同時(shí),還需要保證周邊的測(cè)試環(huán)境、可供分析的perf數(shù)據(jù)準(zhǔn)確抓取,這對(duì)于長(zhǎng)期的性能穩(wěn)定性至關(guān)重要。
為此,測(cè)試與開發(fā)團(tuán)隊(duì)內(nèi)部專家反復(fù)溝通性能perf數(shù)據(jù)的抓取,建立可以反復(fù)、長(zhǎng)期使用的perf數(shù)據(jù)庫(kù),確定抓取、命名、分類等準(zhǔn)則;針對(duì)代碼的簡(jiǎn)潔準(zhǔn)確性、接口可復(fù)用繼承性、異常流程處理等,測(cè)試人員反復(fù)考慮和優(yōu)化已經(jīng)調(diào)試走通的代碼,對(duì)加強(qiáng)異常報(bào)錯(cuò)代碼的提示信息也格外注重,快速解決問題。
團(tuán)隊(duì)的努力沒有白費(fèi),經(jīng)過反復(fù)的測(cè)驗(yàn)和不斷集思廣益優(yōu)化,當(dāng)前自動(dòng)化測(cè)試系統(tǒng)具備一鍵完成自動(dòng)安裝、多個(gè)測(cè)試任務(wù)一鍵下發(fā)、性能數(shù)據(jù)準(zhǔn)確收集等功能,讓運(yùn)維人員從性能測(cè)試環(huán)境確認(rèn)、腳本確認(rèn)、數(shù)據(jù)人力收集等諸多重復(fù)操作中解放,節(jié)約一半以上的人力投入,真正實(shí)現(xiàn)版本性能看護(hù),為用戶的業(yè)務(wù)開展提供最強(qiáng)加速度。
后記:披荊斬棘 初露鋒芒
排查完性能問題之后的X10000存儲(chǔ)系統(tǒng),到客戶的應(yīng)用測(cè)試環(huán)境中,也表現(xiàn)出了優(yōu)異的性能,為X10000在廣電行業(yè)的破冰與開拓奠定了堅(jiān)實(shí)的基礎(chǔ)。
上文我們記載的是X10000性能研發(fā)過程中的一個(gè)小小的插曲,正如前文提到的,存儲(chǔ)系統(tǒng)的性能涉及到無數(shù)的IO環(huán)節(jié),只有我們掃除了每個(gè)IO環(huán)節(jié)上的瓶頸,才能造就存儲(chǔ)系統(tǒng)優(yōu)異穩(wěn)定的性能,在這個(gè)不斷排查瓶頸的過程中,研發(fā)中心上演了一幕幕感人的小故事,奠定了X10000存儲(chǔ)系統(tǒng)的性能基礎(chǔ),鋪就了X10000在多個(gè)行業(yè)開疆?dāng)U土的發(fā)展前景!
責(zé)任編輯:pj
-
cpu
+關(guān)注
關(guān)注
68文章
10702瀏覽量
209371 -
軟件
+關(guān)注
關(guān)注
69文章
4570瀏覽量
86699 -
存儲(chǔ)系統(tǒng)
+關(guān)注
關(guān)注
2文章
396瀏覽量
40788
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論