阿里云出現(xiàn)重大技術(shù)故障損失過億,阿里云故障真正原因是什么？

昨天，技術(shù)圈又出了攪動全技術(shù)人的一次重大技術(shù)故障。記得上一次是攜程2015年癱瘓了11小時，損失高達7000W+。

阿里云是國內(nèi)最大的云服務商，服務著制造、金融、政務、交通、醫(yī)療、電信、能源等眾多領(lǐng)域的領(lǐng)軍企業(yè)，包括中國聯(lián)通、12306、中石化、中石油、飛利浦、華大基因等大型企業(yè)客戶，以及微博、知乎、錘子科技等明星互聯(lián)網(wǎng)公司。在天貓雙11全球狂歡節(jié)、12306春運購票等極富挑戰(zhàn)的應用場景中，阿里云保持著良好的運行紀錄。

6月27日下午，阿里云出現(xiàn)重大技術(shù)故障，故障于北京時間2018年6月27日，16：21左右開始，16：50分開始陸續(xù)恢復。官方給出的故障時間大概持續(xù)30分鐘，陸續(xù)恢復時間有一個小時多。

在6月27日凌晨時分，阿里云給了官方說明，最后官方給出的說明是：“我們在運維上的一個操作失誤，導致一些客戶訪問阿里云官網(wǎng)控制臺和使用部分產(chǎn)品功能出現(xiàn)問題?！币l(fā)了大量吐槽。

對于此故障的原因，網(wǎng)上傳的各種版本都有，傳的最多的是以下2個版本:

網(wǎng)上流傳故障原因版本一

網(wǎng)上流傳故障原因版本二

小編邀請原美團點評運維架構(gòu)師&馬哥教育聯(lián)合創(chuàng)始人張sir對本次故障解讀：

“至于實習生誤刪登陸服務之說，應該是不存在的，一方面，大型互聯(lián)網(wǎng)公司尤其是阿里云這樣的公司，對工程師權(quán)限有著極為嚴格的控制，因為阿里云數(shù)十萬臺服務器，支撐了全國各行各業(yè)千億以上規(guī)模的線上業(yè)務，不可能讓實習生不熟悉的情況下，給予過高的管理權(quán)限。這是極其不專業(yè)的做法"

”對于版本二的說法，說的比較含糊和籠統(tǒng)，我通過內(nèi)部了解到原因：”

"這個說法跟阿里云官方通告是比較符合的，本次故障的嚴重程度是非常高的，故障級別定義在S1級別，整個阿里集團的核心業(yè)務，以及依托阿里云的公司，很多都受了影響。"

"對于企業(yè)來說，上線都是開發(fā)-測試-上線大致都是以下這樣的流程，通常開發(fā)會開發(fā)出來程序，然后交給測試工程師，測試工程師測試完成后，后提交給運維工程師進行線上服務配置以及業(yè)務上線。"

“本次故障，阿里官方說明：工程師團隊，在上線一次自動化運維新功能的時候，執(zhí)行了一項變更驗證操作，這一項功能在測試環(huán)境驗證中未出現(xiàn)問題，上線生產(chǎn)環(huán)境中，觸發(fā)了一個未知的bug。這個bug后來通過阿里的同學證實：具體原因是一個核心的應用在拉VIP列表的時候，返回了空列表，這就會導致上千VIP被禁用了。VIP = Virtual IP Address，虛擬IP地址，主要作用為集群的負載均衡的入口地址，可通過一個VIP的地址，實現(xiàn)一組業(yè)務的訪問，通常也叫集群負載均衡技術(shù)。VIP是集群業(yè)務的入口，如果數(shù)千個VIP被禁用了，可能后端上萬臺的服務、應用、數(shù)據(jù)庫等將直接無法訪問，本次故障盲點，是測試通過了，在生產(chǎn)環(huán)境觸發(fā)了一個未知bug，導致核心應用在拉取VIP列表時，為空了，導致內(nèi)部的上千臺負載均衡不可用，從而后端的應用也不可達。”

"如圖所示，對于大型互聯(lián)網(wǎng)公司，運維技術(shù)架構(gòu)都是多層機構(gòu)。在內(nèi)部負載均衡上配置的VIP如果不可達的話，后端的service層和數(shù)據(jù)庫等內(nèi)容，都是不可達的，這也是為什么故障的時候，頁面能打開，但是報錯為502故障，502錯誤一般常為后端服務器不可用，這也說明了故障的根源所在。阿里的運維團隊故障響應還是比較給力的，數(shù)千個VIP配置錯誤，在半小時內(nèi)從發(fā)現(xiàn)，到定位，到故障排除，以及解決，還是挺快的?！?/p>

“在一個龐大復雜的架構(gòu)體系中，會涉及到成千上萬的配置以及幾十種技術(shù)的應用，有時候可能因為一條配置的錯誤，會導致整個服務崩盤。而出故障時，一位優(yōu)秀的運維工程師，可為公司挽回巨大損失。運維工程師目前已經(jīng)是各家互聯(lián)網(wǎng)公司必不可少的重要崗位，是要求有極高的技術(shù)能力和心理素質(zhì)（當出現(xiàn)故障時，耽誤一分鐘損失上百萬的時候，那種壓力是常人無法理解的），所以這也是，為什么業(yè)內(nèi)優(yōu)秀的運維工程師是比較稀缺的。一個優(yōu)秀的運維工程師或者云計算工程師，是需要不斷的提升和學習，因為公司的業(yè)務需要不斷的完善架構(gòu)體系，保障服務正常運行，以及服務性能和工作效率不斷的優(yōu)化和改進?！?/p>

阿里云對于本次故障，還是非常坦誠的：

"對于這次故障，沒有借口，我們不能也不該出現(xiàn)這樣的失誤！我們將認真復盤改進自動化運維技術(shù)和發(fā)布驗證流程，敬畏每一行代碼，敬畏每一份托付。"

此次阿里云重大故障，網(wǎng)友們紛紛討論，運維都要背鍋啦。其實，運維工程師這個群體，比你想象的要厲害，如果不是他們?yōu)榛ヂ?lián)網(wǎng)的業(yè)務保駕護航，可能故障遠不止此。所以，對于錯誤，我們應該包容，錯誤是成長的必經(jīng)之路，更何況，人非圣賢孰能無過？