從阿里云盤(pán)崩潰談起，云平臺(tái)穩(wěn)定性如何保證？

近日，阿里云盤(pán)爆發(fā)故障，停服了近5小時(shí)，隨后官方發(fā)了道歉信，也明確了賠償方案，但故障原因至今未公布。坊間傳言是因?yàn)橛脩艏?a href="http://ttokpm.com/soft/special/" target="_blank">下載某電視劇資源所致，具體情況不明。

阿里云盤(pán)和阿里云有沒(méi)有關(guān)系呢？雖然這是兩個(gè)獨(dú)立的品牌，但阿里云盤(pán)應(yīng)該算是阿里云主要的SaaS產(chǎn)品之一，其資源肯定也是承載在阿里云的平臺(tái)上的，所以這個(gè)故障算到阿里云頭上應(yīng)該不冤。

這是繼阿里云香港區(qū)故障后，又一次引發(fā)社會(huì)輿論關(guān)注的故障事件。當(dāng)然，發(fā)生故障并不可怕，IT系統(tǒng)發(fā)生故障太正常不過(guò)了，但一個(gè)機(jī)房出問(wèn)題就全局宕機(jī)了？一個(gè)系統(tǒng)故障就導(dǎo)致服務(wù)中斷5個(gè)小時(shí)？說(shuō)好的可用區(qū)隔離，跨區(qū)高可用，自動(dòng)恢復(fù)自動(dòng)切換，這些寫(xiě)進(jìn)SLA里的保障措施全部失效！這就有點(diǎn)不同尋常了。

從這個(gè)角度看，這兩次故障事件正在折射出阿里云一些內(nèi)部的問(wèn)題，甚至直接暴露出包括阿里云在內(nèi)的云廠商巨頭在前些年野蠻生長(zhǎng)、快速擴(kuò)張過(guò)程中遺留下來(lái)的很多bug還有待修補(bǔ)。這些bug的構(gòu)成非常復(fù)雜，有技術(shù)的因素，也有機(jī)制流程的因素，還有人的責(zé)任意識(shí)的因素，如果這些bug不能在短時(shí)間內(nèi)得到有效解決，可以預(yù)料，這樣級(jí)別的故障可能還將發(fā)生，這對(duì)阿里云等巨頭們的品牌形象、客戶信任度都是嚴(yán)重的傷害。

更關(guān)鍵的是，當(dāng)前國(guó)內(nèi)云計(jì)算應(yīng)用已從互聯(lián)網(wǎng)拓展至政務(wù)、金融、工業(yè)、醫(yī)療、交通等傳統(tǒng)行業(yè)，在這個(gè)過(guò)程中，云上系統(tǒng)的復(fù)雜度極大提升，給云廠商帶來(lái)的挑戰(zhàn)將會(huì)更大！

其一，云上系統(tǒng)深度應(yīng)用微服務(wù)等云原生技術(shù)架構(gòu)，應(yīng)用之間存在錯(cuò)綜復(fù)雜的依賴關(guān)系，服務(wù)性能瓶頸難以分析，故障影響范圍難以評(píng)估，故障根因難以定位，給平臺(tái)的運(yùn)維保障工作帶來(lái)了諸多困難；

其二，云上系統(tǒng)的故障率會(huì)隨設(shè)備的增加而呈指數(shù)級(jí)增長(zhǎng)，單一節(jié)點(diǎn)問(wèn)題可能會(huì)被無(wú)限放大，日常運(yùn)行過(guò)程中不可避免的伴隨異常發(fā)生，如何解決這些偶發(fā)、突發(fā)的問(wèn)題，仍是一個(gè)技術(shù)難題；

其三，云上系統(tǒng)節(jié)點(diǎn)分布范圍更廣、數(shù)量更多，高度依賴網(wǎng)絡(luò)質(zhì)量，給日常運(yùn)維過(guò)程中的日志采集、變更升級(jí)等都帶來(lái)了新的挑戰(zhàn)。

與此同時(shí)，由于產(chǎn)業(yè)互聯(lián)網(wǎng)核心業(yè)務(wù)上云進(jìn)程加速，而核心業(yè)務(wù)系統(tǒng)作為支撐用戶服務(wù)的關(guān)鍵，往往具備業(yè)務(wù)連續(xù)性要求高、并發(fā)請(qǐng)求量大、業(yè)務(wù)激增隨機(jī)性強(qiáng)的特點(diǎn)，一旦發(fā)生故障，其影響范圍更大，后果更嚴(yán)重。為什么阿里云香港區(qū)事件直接導(dǎo)致阿里云換帥，正是因?yàn)槭录绊懙姆秶鷺O廣，對(duì)阿里云的品牌形象造成了極大的損害。

那該怎么辦呢？

從阿里云近期接連的兩次故障來(lái)看，云服務(wù)商亟需加深對(duì)云上系統(tǒng)穩(wěn)定性的認(rèn)知，構(gòu)建安全生產(chǎn)和穩(wěn)定性保障雙體系，推動(dòng)云上系統(tǒng)的穩(wěn)定性持續(xù)提升。

第一、建設(shè)云上業(yè)務(wù)安全生產(chǎn)體系，完善流程管理機(jī)制

一是事前的主動(dòng)防御，通過(guò)完備的故障分析、風(fēng)險(xiǎn)檢測(cè)、全局管控等事前風(fēng)險(xiǎn)防護(hù)治理手段，變被動(dòng)為主動(dòng)，盡量減少故障風(fēng)險(xiǎn)發(fā)生的概率；

二是事中的全局監(jiān)控，通過(guò)深度應(yīng)用大數(shù)據(jù)、人工智能等技術(shù)，對(duì)信息系統(tǒng)進(jìn)行全局監(jiān)測(cè)和預(yù)警，實(shí)現(xiàn)實(shí)時(shí)風(fēng)險(xiǎn)態(tài)勢(shì)感知；

三是事后的應(yīng)急保障，將信息化手段與傳統(tǒng)方式相融合，多種應(yīng)急方式，最大程度降低業(yè)務(wù)系統(tǒng)故障導(dǎo)致的損失和影響，有效保障業(yè)務(wù)系統(tǒng)的穩(wěn)定性和連續(xù)性。

在這個(gè)過(guò)程中還有一個(gè)關(guān)鍵點(diǎn)在于人的責(zé)任意識(shí)的培養(yǎng)，所有管理機(jī)制流程到最后還是需要人來(lái)執(zhí)行落地。在這方面，運(yùn)營(yíng)商云或許更有優(yōu)勢(shì)，畢竟電信運(yùn)營(yíng)商刻在DNA里的就是對(duì)“保障通信生命線”的追求，電信級(jí)服務(wù)對(duì)他們來(lái)說(shuō)是一種信仰，也是一種職業(yè)習(xí)慣。

第二、構(gòu)筑全流程穩(wěn)定性保障體系，提升技術(shù)保障能力

事前做好規(guī)劃工作，設(shè)計(jì)高度韌性系統(tǒng)。在軟件設(shè)計(jì)階段，重點(diǎn)關(guān)注系統(tǒng)架構(gòu)和容量規(guī)劃的設(shè)計(jì)，同時(shí)配合混沌工程實(shí)驗(yàn)持續(xù)保持、提升系統(tǒng)韌性。

事中全方位檢測(cè)，提高系統(tǒng)故障逃逸能力。通過(guò)對(duì)鏈路中各環(huán)節(jié)運(yùn)行數(shù)據(jù)的整合及聯(lián)動(dòng)，在故障發(fā)生時(shí)幫助運(yùn)維人員迅速定位故障原因，最大化利用系統(tǒng)的觀測(cè)數(shù)據(jù)輔助進(jìn)行根因分析，實(shí)現(xiàn)高效的故障修繕與恢復(fù)。此外，要確?！皯?yīng)用多活”成為保障業(yè)務(wù)連續(xù)性的關(guān)鍵抓手，而并非是一句宣傳口號(hào)。當(dāng)災(zāi)難（含基礎(chǔ)設(shè)施故障）發(fā)生時(shí)，多活系統(tǒng)在分鐘級(jí)內(nèi)實(shí)現(xiàn)業(yè)務(wù)流量切換，有效保障業(yè)務(wù)系統(tǒng)持續(xù)穩(wěn)定運(yùn)行，提升系統(tǒng)故障逃逸能力。

事后構(gòu)建故障閉環(huán)，降低故障復(fù)現(xiàn)率。完善故障管理機(jī)制，故障管理機(jī)制包括規(guī)范管理故障響應(yīng)流程、故障升級(jí)機(jī)制、故障復(fù)盤(pán)機(jī)制，規(guī)范技術(shù)人員在應(yīng)對(duì)突發(fā)故障時(shí)的操作流程，明確職責(zé)邊界，提升溝通效率，推動(dòng)故障解決，提升故障處理效率。

在以上這些方面，一些正在崛起的新興云廠商可能比老牌巨頭走得更快更前，比如，移動(dòng)云一直聚焦云服務(wù)穩(wěn)定性領(lǐng)域涉及的關(guān)鍵技術(shù)，從混沌工程、全鏈路壓測(cè)建設(shè)、可觀測(cè)性平臺(tái)建設(shè)、應(yīng)用多活架構(gòu)等多方面提升移動(dòng)云穩(wěn)定性。同時(shí)加速運(yùn)維系統(tǒng)的“平臺(tái)化”、“數(shù)據(jù)化”、“智能化”建設(shè)，持續(xù)加強(qiáng)移動(dòng)云穩(wěn)定性。在去年8月工信部召開(kāi)的“云服務(wù)穩(wěn)定安全運(yùn)行應(yīng)急演練專項(xiàng)活動(dòng)”中，移動(dòng)云榮獲“十佳優(yōu)秀報(bào)告”榮譽(yù)稱號(hào)。

最后，張勇在就任阿里云總裁后又發(fā)了一封內(nèi)部信，里面有一段話——

“唯有日積月累的客戶信任，才可以讓我們真正在市場(chǎng)中保持領(lǐng)先優(yōu)勢(shì)，才能讓我們擁有持久的核心競(jìng)爭(zhēng)力。任何故障的發(fā)生，對(duì)阿里是萬(wàn)分之一、百萬(wàn)分之一的概率，一旦發(fā)生在每個(gè)客戶身上就是百分之百。我們必須急客戶所急，想客戶所想，既主動(dòng)解決客戶看得到的問(wèn)題，更要把客戶尚未感知到的風(fēng)險(xiǎn)防患于未然?！?/p>

望行業(yè)共勉吧。

審核編輯 ：李倩