華為編譯器吳峰的自述

我是“翻譯官”優(yōu)化師吳鋒

2015年我加入華為中軟院編譯器實驗室，那時候它還叫歐拉六部。

其實程序員敲代碼寫的編程語言機器是看不懂的，需要先翻譯成匯編語言，也就是一條條指令，再轉(zhuǎn)換成二進制，這樣機器才明白我們要做什么。編譯器就像是“翻譯官”，把程序員懂的編程語言轉(zhuǎn)化成機器認識的二進制，如果這個“翻譯官”看不懂編程語言或者翻譯的速度慢，在性能上的影響就可想而知了。

性能雖然可以通過手動改寫匯編語言（機器指令）進行優(yōu)化，但匯編語言復雜難寫、工作量大、不易理解，如果不想寫匯編卻要有接近匯編的性能，就得依賴于一款強大的編譯器，這就是我們做編譯器的目標和使命。

從使用者到開發(fā)者

剛來華為的半年比較痛苦，技術(shù)討論的時候周圍的同事都是資深研發(fā)，說起技術(shù)來頭頭是道，我經(jīng)常聽得云里霧里，搞的我每次開會心理壓力都很大。

編譯器這個東西門檻高，技術(shù)深。為了對這一塊有更深的理解，盡快上手，我記得當時是早上8點上班，我一般提前一小時7點到工位，結(jié)合實際的應用，帶著問題看代碼，我把編譯器里面一些常用模塊的代碼看了不知道多少遍。

因為在上一家公司近7年嵌入式領域的積累，我對性能（時延）比較敏感，漸漸地我也發(fā)現(xiàn)了自己擅長從用戶角度出發(fā)，提出產(chǎn)品的問題和優(yōu)化點。從此我在華為所做的諸多大事小事，也基本離不開“優(yōu)化”兩字。

很快我就迎來了自己的第一次出差，是去上海。一天主管過來說：“有個項目提了緊急援助，你們?nèi)スリP一下”。雖然這活一聽，就比較難搞定，但是對于還沒有轉(zhuǎn)正的我來說是一個很好的機會，于是我做好了摩拳擦掌、大顯身手的準備。在那之前，我只知道華為人為了業(yè)務是敢打敢拼，還沒有真正見識過，直到我參與了這次項目，第一次感受到為了沖刺交付的那股熱血。我到現(xiàn)在都記得，那段時間是冬天，很冷，但我在上研所“與世隔絕”，每天早上進去，晚上出來，仿佛外面雨雪風霜都與我們無關。

當時正值無線5G技術(shù)的大PK，各大廠商搞得如火如荼。無線同事們攻關數(shù)月，已經(jīng)取得很大進展，但是在基帶業(yè)務上遇到性能瓶頸，業(yè)務處理時延值遠大于目標值。經(jīng)過分析討論，分解給我們編譯器的任務是優(yōu)化十幾個算法處理類函數(shù)，當前指標相比預期，有的甚至差距十幾倍乃至幾十倍。受到周圍熱血攻關的氣氛的影響，我拿到任務也是一頭扎進去，基于之前多年的經(jīng)驗以及前段時間的苦學，面對第一個需要優(yōu)化的函數(shù)，我從拿手的匯編開始分析，很快便發(fā)現(xiàn)了性能差的主要原因。因為對編譯器性能的了解，略微調(diào)整下算法中C語言某一段代碼的寫法，竟然就成功了，函數(shù)性能一下子提升X倍，達成了預期目標！這個結(jié)果令我興奮不已，這一定程度驗證了我之前努力的成效，更是給了我莫大的鼓勵，讓我對接下來的挑戰(zhàn)充滿信心。

最后經(jīng)過兩周的攻關，我們達成了全部的目標，幫助產(chǎn)品解決了當前項目中的最大阻塞點。這次給我最深的感悟就是優(yōu)化不是靠“磨”出來的，解決第一個的時候還在摸索，到后面慢慢就掌握了一些方法門路，越來越上手了。

數(shù)著cycle過日子的“火鍋小分隊”

如果說第一次攻關我們是援軍，那么第二次攻關我們就是主力軍，而我更是主力軍中的先鋒。

那會兒無線準備開發(fā)第一代自研矢量核，相比于普通核，芯片支持更寬的矢量計算，因此在矢量化后可以將運算次數(shù)縮減到1/X，讓芯片的性能提升X倍，我們團隊承接了其配套的編譯器開發(fā)，把實現(xiàn)矢量化功能的代碼“翻譯”給芯片。

業(yè)務對我們的要求非常高，我們第一次出來的版本在業(yè)務側(cè)驗證，性能僅有手寫匯編的30%，距離既定目標差的非常遠。在現(xiàn)場直面產(chǎn)品的我很受打擊。身體僵坐在工位上看著屏幕上的代碼，聽著業(yè)務側(cè)的同事拍桌子質(zhì)問：“這么大的差距，怎么追？”沒有人能比我當時的心情更著急。接下來，我們和產(chǎn)品矢量核業(yè)務開發(fā)團隊開展聯(lián)合優(yōu)化，一方面雙方可以一起探索如何寫出高性能的矢量核代碼；另一方面，在探索過程中，我們可以了解業(yè)務特點，發(fā)掘編譯器的待改進點。他們做功能，我們優(yōu)化性能，雙管齊下。

各個模塊里業(yè)務側(cè)都有自己的期望值，一開始的差距甚至都在2倍3倍以上。經(jīng)過我們和業(yè)務側(cè)的討論，不久就確定了各個項目里程碑計劃表。面對巨大的gap，沒有時間給我浪費，而且越到后面優(yōu)化難度越大。

編譯器的性能優(yōu)化目標都是參考極致手寫匯編來確定的通常我們用cycle（機器執(zhí)行指令頻率）數(shù)作為衡量性能的指標。Cycle的數(shù)量越少，說明耗時越短，性能越優(yōu)。在那段時間里，我的腦子里面全是cycle，今天優(yōu)化了多少cycle，我們距離下一個里程碑還有多少cycle，在接下來的日子里需要每天保持優(yōu)化多少cycle。夜晚別人是數(shù)著綿羊入睡，我大概是念叨著cycle入睡……雖然偶爾會有些焦慮，但只要我做到今日cycle今日畢，就是在朝著目標一步步前進！

還記得被cycle支配的漫長異地攻關期，上研食堂的小火鍋是我們的最愛，又快又方便。一次在距離里程碑期限快要到了的時候，還有許多cycle沒有優(yōu)化完成。我和另外兩個同事嘴里吃著丸子，心里默默念叨著自己的cycle。到最后有個同事越吃越?jīng)]勁，只想趕快回到工位工作，這時候鍋里還剩了好幾個丸子。我就拉著他說：“你吃完，別浪費，你吃一個丸子我給你減少100個cycle怎么樣？”他撲哧一下笑出聲。其實，我也明白兄弟們壓力都很大，雖然很艱難，希望大家能有時間放松一下緊繃的弦……

在持續(xù)攻關了三個多月后，我們終于看到了曙光。一方面業(yè)務側(cè)性能已經(jīng)基本達到預期，雙方已聯(lián)合摸索出一套適配當前芯片架構(gòu)的代碼寫法，另一方面編譯器引入和增強了許多的算法，各個模塊都已達成了90%手寫匯編的既定目標，在一些典型業(yè)務上的性能結(jié)果逼近匯編。而我心里的大石頭終于放下了，我想自己再也不用每天數(shù)著cycle過日子了，這場仗，我們打贏了！

項目結(jié)束后，我們幾個兄弟大快朵頤地吃了頓火鍋，還點了不少小丸子，大家聊起攻關歲月，都覺得那場景恍如隔日，卻又記憶猶新……

“不能在我這掉鏈子”

這個項目結(jié)束不久后，我就成為了團隊的SE。對于普通開發(fā)而言，工作偏向于聚焦某一個問題；而作為SE，團隊的對外技術(shù)發(fā)言人，需要花更多的精力去分析項目中的技術(shù)風險，并探索新技術(shù)，需要背負整個項目的壓力。

由于編譯器在第一代核上的性能達到了匯編的90%，在之后一代代的芯片演進過程中，90%的指標自然就成為了業(yè)務側(cè)對我們編譯器特性的最低要求。然而特性越來越復雜，技術(shù)難度更像是一道難以跨越的鴻溝，我們的標準卻并沒有降低。

記得在某一代矢量核演進過程中引入了一個新特性，該特性是當代芯片架構(gòu)演進的主要提升點，但是這個特性在業(yè)界沒有任何先例技術(shù)。開會的時候，設計的同事斬釘截鐵地說著：“做不到90%，就不能達標”。

當時聽到這話的我，瞬間壓力巨大。由于該特性的編譯器實現(xiàn)沒有業(yè)界可參考經(jīng)驗，我們就是從零開始，需要完全自研的設計開發(fā)。關于這個技術(shù)的特點，編譯器現(xiàn)有的能力，將來這塊能不能做？能做到什么程度？這些都是我要考慮的風險點。我不敢輕易承諾，但有時候我又不得不承諾。

在這種承諾下，我只能自己消化。當務之急就是對這個最大的風險特性做一個能力評估，時間緊迫，平時開發(fā)一個新特性都要2-3個月，但那時的我沒有時間了。我花了2天時間通讀了該特性的所有描述，并理解每一個細節(jié)；同時還調(diào)研了業(yè)務場景，梳理哪些場景我們可以支持，哪些將會是風險，最后在兩周內(nèi)給出commit（確認）。

之后，我又花了幾天時間實現(xiàn)了一個demo，進一步證實了我們的基本方案的可行性?；诜桨赋醺?，我們評估可以覆蓋80%的業(yè)務場景，剩下的20%也可以通過一些定制化擴充來進一步支持。至此，我們可以commit 90%的目標，雖然仍有風險，但已經(jīng)有了底氣。

那段時間，我經(jīng)常在會后一個人默默復盤，思考著會議上大家提出的問題技術(shù)上是否可以通過外部交流幫助；編譯器到底需要解決哪些問題，才能風險可控，將來又怎么去彌補。畢竟我要對項目負責，對團隊負責。要知道到目前為止，我們團隊可是從來沒有過“敗績”，我們之前沒有一次掉鏈子的，更不能在我這掉鏈子，我做出的承諾就要達到。當然最終我們也是順利達成了目標。

與可信風險說“不”

2018年下半年，公司開始推行軟件工程能力提升項目，很多團隊都大刀闊斧地進行了可信改革，我們的編譯器優(yōu)選版本定了5年更新一次的計劃。

編譯器在CT領域進行了近10年的交付，特別是在無線場景，支撐的芯片類型非常多，每種芯片類型編譯器支撐的版本也不盡相同，所以整個編譯器的“可信”工程是艱巨的，存在可信風險，亟需升級。另一方面我們是自研芯片的編譯器，在獲得高性能的同時還有很多的業(yè)務協(xié)同優(yōu)化，牽一發(fā)動全身，一旦編譯器發(fā)生變更，涉及協(xié)同優(yōu)化部分的代碼調(diào)整將會是最痛苦的煎熬。此外，自研芯片已經(jīng)演進了那么多代，升級后每一代都要重新配套。而我們半年后將迎來客戶交付時間點，要在那之前完成6款自研編譯器的升級，時間上也將是一個巨大的風險。

面臨這么多困難當前，我們編譯器難道不升級了？

不，作為負責無線領域的編譯器SE，我要帶領團隊與時間賽跑，我們交付的編譯器不僅要高性能，還要高可信。我一直認為，作為SE，可信設計其實就是本職工作，并不是今天公司搞可信，我們才撲上去搞，而應該是在平時的設計開發(fā)中，就要去考慮的。雖然版本升級時間緊、任務重，但我還是給這次任務增加了額外的難度，既然未來是要繼續(xù)升級，考慮到后續(xù)代碼的可維護性，索性這次就直接從系統(tǒng)層面做一個大重構(gòu)，一步到位！

說實話，這么重要又有難度的挑戰(zhàn)，我心里也打鼓，畢竟這不僅是編譯器團隊的事，還牽扯著協(xié)同業(yè)務的優(yōu)化，更重要的是不能影響后續(xù)客戶的交付節(jié)奏和質(zhì)量，我們不容有失。

半年的時間痛苦又漫長，通過多次攻關聯(lián)調(diào)，經(jīng)過了很多個重構(gòu)，我們終于完成了全部的自研芯片編譯器版本升級。不僅保障了升級后的各個編譯器在業(yè)務側(cè)性能沒有下降，消除了芯片應用上的可信風險；同時我們在升級過程中，也做了很多的架構(gòu)解耦工作，包括開源與自研代碼解耦，多個芯片之間的接口抽象等，以利于下次升級。給客戶、也給我們自己交了一份滿意的答卷。如今再回首，我覺得一切都是最值得的，對于可信的風險，我們必須迎難而上！

最后，我想說，我們團隊是一支歷史悠久的團隊，伴隨著無線自研芯片一路成長，未來軟件優(yōu)化更顯重要，編譯器在其中的重要性不言而喻。SE是團隊的領航者，不僅要保證當前項目的成功，還要為團隊的未來發(fā)展找技術(shù)方向。高性能、高可信不僅僅只是口號，而是需要我們?nèi)コ掷m(xù)打造。

來源：華為人

責任編輯：haq