數(shù)據(jù)中心將進(jìn)入完全可編程時(shí)代

大家看到這個(gè)標(biāo)題，第一個(gè)反應(yīng)應(yīng)該會(huì)是疑問(wèn)：難道現(xiàn)在數(shù)據(jù)中心的處理器不可編程？ 首先，強(qiáng)調(diào)一下，現(xiàn)在數(shù)據(jù)中心的處理器，當(dāng)然是可編程的。但是，我標(biāo)題這么寫(xiě)，一定是有原因的。 NVIDIA有DPU和DOCA；Intel有IPU和IPDK，而且還發(fā)起了OPI；然后博通剛剛宣布收購(gòu)VMWare。這些看似沒(méi)有聯(lián)系的事情之間，其實(shí)有一個(gè)共通的底層邏輯。

01先聊聊功能機(jī)到智能機(jī)的發(fā)展

直到現(xiàn)在，我仍然印象深刻的記得，在2010年的時(shí)候，諾基亞還保持著全球手機(jī)銷(xiāo)量霸主的地位。但這個(gè)時(shí)候，整個(gè)市場(chǎng)已經(jīng)不看好諾基亞了，它的日子并不好過(guò)。當(dāng)時(shí)我還覺(jué)得諾基亞就是再不濟(jì)，也應(yīng)該作為智能手機(jī)和移動(dòng)互聯(lián)網(wǎng)時(shí)代的一個(gè)重要的參與者而存在。誰(shuí)能想到，短短幾年，諾基亞手機(jī)就“煙消云散”了。 據(jù)說(shuō)，當(dāng)年諾基亞遲遲未推出能夠挑戰(zhàn)iPhone的產(chǎn)品的主要原因，是該公司認(rèn)為iPhone注定失敗，因?yàn)槠湮茨芡ㄟ^(guò)抗摔測(cè)試。第一代iPhone面市時(shí)，諾基亞工程師就對(duì)其進(jìn)行了全面的研究，最終認(rèn)定，它不會(huì)對(duì)諾基亞產(chǎn)生威脅，原因是造價(jià)太高，并且只兼容2G網(wǎng)絡(luò)，而且未能通過(guò)基本的抗摔測(cè)試。而此時(shí)的諾基亞正如日中天，諾基亞引領(lǐng)了很多手機(jī)功能的“創(chuàng)新”，比如手機(jī)攝像、全功能鍵盤(pán)、塞班操作系統(tǒng)，當(dāng)然也包括和旋鈴聲、換殼等。 換湯不換藥，不本質(zhì)創(chuàng)新的諾基亞，難以改變被市場(chǎng)無(wú)情拋棄的命運(yùn)。 我們來(lái)總結(jié)一下iPhone這樣的智能手機(jī)的成功之處。我個(gè)人總結(jié)，主要有兩點(diǎn)：

一個(gè)是，不要試圖幫助用戶決策。智能手機(jī)提供給用戶的是一個(gè)平臺(tái)，而不是一個(gè)具有具體功能的產(chǎn)品。用戶是通過(guò)安裝APP來(lái)實(shí)現(xiàn)自己要的五花八門(mén)又各自不同的具體功能的。

另一個(gè)是，易用性。在智能手機(jī)表現(xiàn)的則是人機(jī)交互，也就是劃時(shí)代意義的觸摸劃屏交互。在2017年iPhone之前，其實(shí)微軟已經(jīng)早在2000年就發(fā)布了基于Windows的智能手機(jī)。但其因?yàn)橥ㄟ^(guò)觸控筆實(shí)現(xiàn)類(lèi)似鼠標(biāo)的單擊雙擊，非常難用，所以一直沒(méi)能流行起來(lái)。

02再分析一下各類(lèi)處理引擎

2.1 CPU

在數(shù)據(jù)中心等復(fù)雜計(jì)算場(chǎng)景，對(duì)靈活可編程性要求非常高。 CPU是可編程的，而且CPU還是靈活性最好的可編程平臺(tái)。因此，目前數(shù)據(jù)中心的處理器主要還是CPU。而GPU/ASIC等均不滿足靈活可編程性的要求。 而隨著技術(shù)發(fā)展，CPU的性能逐漸瓶頸，基于CPU的摩爾定律失效。但算力的需求并沒(méi)有停滯，仍在不斷提升，因此，各類(lèi)其他的處理引擎和芯片逐漸走上了舞臺(tái)。

2.2 GPU

GPU（默認(rèn)為GPGPU），一方面其數(shù)以千計(jì)的引擎可編程能力不錯(cuò)，可以覆蓋非常多的領(lǐng)域。也因?yàn)镃UDA強(qiáng)大生態(tài)的加持，使得GPU這幾年以及未來(lái)若干年，在數(shù)據(jù)中心會(huì)得到非常大規(guī)模的采用。 但是，相比DSA/ASIC來(lái)說(shuō)，GPU的性能還是不夠極致。

2.3 DSA

John Hennessy和David Patterson是體系結(jié)構(gòu)領(lǐng)域的權(quán)威，兩人在其2017年圖靈獎(jiǎng)獲獎(jiǎng)演講時(shí)說(shuō)，未來(lái)十年是體系機(jī)構(gòu)的黃金年代，在CPU性能達(dá)到瓶頸的情況下，需要針對(duì)特定的領(lǐng)域定制專(zhuān)用處理器，這也就是當(dāng)前大家熟悉的DSA。 已經(jīng)被Intel收購(gòu)的Barefoot公司，設(shè)計(jì)的可編程網(wǎng)絡(luò)DSA芯片Tofino已經(jīng)得到非常多的落地；但AI類(lèi)的DSA目前仍沒(méi)有看到比較廣泛的落地。兩者的主要區(qū)別在于：

網(wǎng)絡(luò)領(lǐng)域處于基礎(chǔ)設(shè)施層次，其場(chǎng)景變化相對(duì)較小。DSA相比ASIC較好，但相比GPU較差，的靈活可編程能力，基本符合網(wǎng)絡(luò)領(lǐng)域的靈活性要求。因此，其可以在確保靈活可編程能力的基礎(chǔ)上實(shí)現(xiàn)最極致的性能。

而AI領(lǐng)域，目前算法多種多樣，很多新的算法還在出現(xiàn)。AI領(lǐng)域，在性質(zhì)上，仍然屬于應(yīng)用層次，也即場(chǎng)景靈活多變。這樣對(duì)引擎的靈活可編程能力提出了更高要求，而DSA架構(gòu)的處理器很難滿足。從實(shí)踐可以看到，目前大量的AI是基于更高靈活性的GPU部署的。

當(dāng)然，隨著時(shí)間推移，很多AI類(lèi)的算法沉淀，勢(shì)必逐漸從應(yīng)用變成基礎(chǔ)設(shè)施。當(dāng)AI逐漸穩(wěn)定，對(duì)靈活性的要求降低，就是AI DSA大顯身手之時(shí)。

2.4 ASIC

越是復(fù)雜場(chǎng)景，對(duì)靈活性的要求越高。 在大芯片場(chǎng)景，ASIC形態(tài)的處理引擎會(huì)完全消失。

03未來(lái)發(fā)展：完全可編程

3.1 智能網(wǎng)卡、DPU等芯片的落地困境

因?yàn)镃PU性能不夠，因此出現(xiàn)了很多類(lèi)型的芯片來(lái)卸載CPU的任務(wù)，減輕CPU的負(fù)擔(dān)，以此來(lái)實(shí)現(xiàn)性能提升。如單功能加速卡、智能網(wǎng)卡、DPU等。這些處理器目前存在一些共性的挑戰(zhàn)：

因?yàn)椴煌脩魳I(yè)務(wù)場(chǎng)景存在差異化，并且用戶業(yè)務(wù)場(chǎng)景仍在快速迭代。

跟客戶場(chǎng)景深度綁定，是偏ASIC級(jí)別的定制，會(huì)導(dǎo)致市場(chǎng)碎片化。碎片化的市場(chǎng)會(huì)導(dǎo)致某一芯片產(chǎn)品能覆蓋的規(guī)模較小，也即出貨量會(huì)少。

偏ASIC的定制會(huì)導(dǎo)致芯片設(shè)計(jì)復(fù)雜度高。ASIC緊耦合的系統(tǒng)，把業(yè)務(wù)邏輯完全變成電路，芯片設(shè)計(jì)工作量大，設(shè)計(jì)復(fù)雜度高。另外場(chǎng)景的多種多樣和快速迭代，也使得ASIC設(shè)計(jì)難以覆蓋更多的差異。

芯片NRE、IP等費(fèi)用高，需要芯片大規(guī)模落地。工藝進(jìn)步，使得大芯片的研發(fā)成本進(jìn)一步提升。這就需要芯片銷(xiāo)量進(jìn)一步提升，才能攤薄一次性成本。而偏定制的方案則完全走向了相反的方向。大芯片，一定需要足夠通用靈活可編程，才好大規(guī)模落地。

類(lèi)比前面功能機(jī)和智能機(jī)的區(qū)別，可以認(rèn)為：

目前很多加速卡、智能網(wǎng)卡、DPU的做法仍是類(lèi)似功能機(jī)的做法。整個(gè)功能是確定的，硬件中實(shí)現(xiàn)了很多具體功能和業(yè)務(wù)邏輯，越庖代俎，幫助用戶決策。

還沒(méi)有做到，類(lèi)“智能手機(jī)”的做法，完全可編程的硬件平臺(tái)，把決策交給用戶。

3.2 架構(gòu)：從同構(gòu)到異構(gòu)，再到超異構(gòu)

常見(jiàn)的多核CPU，即是同構(gòu)并行計(jì)算。CPU是最常見(jiàn)的并行計(jì)算架構(gòu)，但由于單個(gè)CPU核的性能已經(jīng)到達(dá)瓶頸，并且單顆芯片所能容納的核數(shù)也逐漸到頭。CPU同構(gòu)并行已經(jīng)沒(méi)有多少性能挖潛的空間。 CPU+xPU的異構(gòu)加速并行架構(gòu)，一般情況下，GPU、FPGA及DSA加速器都是作為CPU的協(xié)處理加速器的形態(tài)存在，不是圖靈完備的。異構(gòu)計(jì)算CPU是輔助，系統(tǒng)的特點(diǎn)跟加速器是一致的，符合我們之前關(guān)于GPU、DSA等處理引擎的分析，各有優(yōu)缺點(diǎn)。

芯片工藝帶來(lái)的資源規(guī)模越來(lái)越大，所能支撐的設(shè)計(jì)規(guī)模也越來(lái)越大，這給架構(gòu)創(chuàng)新提供了非常堅(jiān)實(shí)的基礎(chǔ)?？梢圆捎枚喾N處理引擎，從單兵作戰(zhàn)到團(tuán)隊(duì)協(xié)作，來(lái)共同完成復(fù)雜系統(tǒng)的計(jì)算任務(wù)，這就是超異構(gòu)。

3.3 用戶/開(kāi)發(fā)者視角：完全可編程的芯片平臺(tái)

像智能手機(jī)一樣，完全可編程的處理芯片提供給用戶的是一個(gè)沒(méi)有具體功能的芯片平臺(tái)，具體的功能由用戶通過(guò)軟件編程實(shí)現(xiàn)。 完全可編程的含義：

所有功能由用戶通過(guò)軟件定義。授人以魚(yú)不如授人以漁，既然提供的是平臺(tái)化解決方案。那么一些主要的組件一定是要集成的，然后這些單元又可以自由組合，給用戶提供一個(gè)幾乎“無(wú)限”可能的平臺(tái)。不同的用戶，根據(jù)自己的需求組合功能，實(shí)現(xiàn)功能和場(chǎng)景差異。

所有業(yè)務(wù)邏輯由用戶通過(guò)編程實(shí)現(xiàn)。用戶自己的軟件已經(jīng)存在，業(yè)務(wù)邏輯也是經(jīng)過(guò)長(zhǎng)期打磨。業(yè)務(wù)邏輯是一個(gè)非常重要的事情：一些大的云計(jì)算公司，其底層業(yè)務(wù)邏輯支撐的上層云客戶的業(yè)務(wù)都超萬(wàn)億。這樣，底層的業(yè)務(wù)邏輯修改一定是慎之又慎。用戶期望的是不修改業(yè)務(wù)邏輯情況下，通過(guò)硬件實(shí)現(xiàn)業(yè)務(wù)處理的加速。

用戶沒(méi)有平臺(tái)依賴(lài)。軟件熱遷移需要一致性接口的硬件，上層業(yè)務(wù)邏輯也需要一致性的硬件功能支持。這些都需要，站在用戶視角，不同芯片廠家提供的是接口和架構(gòu)完全一致標(biāo)準(zhǔn)化的產(chǎn)品。

講完這里，我想大家可能還是有點(diǎn)疑惑，因?yàn)镃PU就可以做到完全可編程，RISC-v架構(gòu)CPU可以實(shí)現(xiàn)真正的無(wú)平臺(tái)依賴(lài)。完全可編程是個(gè)什么？ 那么，請(qǐng)接著看下一節(jié)。

3.4 性能和靈活性，似拔河一樣拉扯到各自極致

完全可編程性能和靈活性的權(quán)衡，像天平，更像拔河比賽。 我們經(jīng)常講balance或tradeoff，也就是均衡（名詞）/權(quán)衡（動(dòng)詞）。但總覺(jué)得少了點(diǎn)什么。思來(lái)想后，發(fā)現(xiàn)是少了點(diǎn)主動(dòng)、少了點(diǎn)極致：

完全可編程，是要在滿足靈活可編程的基礎(chǔ)上，實(shí)現(xiàn)最極致的性能；

完全可編程，是要在性能滿足要求的情況下，實(shí)現(xiàn)最極致的靈活可編程性。

完全可編程：

并不是說(shuō)所有的事情，都CPU來(lái)完成，這是一種“懶惰”、“躺平”，因?yàn)镃PU的性能是最差的；

也不是說(shuō)，所有的事情都DSA完成。這樣又會(huì)過(guò)猶不及。因?yàn)楹芏鄨?chǎng)景，對(duì)靈活性的要求超過(guò)了DSA可提供的靈活性能力。最典型場(chǎng)景就是AI加速，目前很多AI芯片落地困難的原因就是不滿足靈活性的要求。

如何做？ 系統(tǒng)是分層分塊的，我們大體上可以把系統(tǒng)的工作任務(wù)分為三類(lèi)：

應(yīng)用層。站在硬件平臺(tái)的視角，應(yīng)用是完全不確定的，也不確定知道運(yùn)行的應(yīng)用到底是什么。這樣，應(yīng)用層的工作就適合CPU來(lái)做。

應(yīng)用加速。有很多應(yīng)用層的工作，性能敏感，需要通過(guò)加速的方式。但一方面受限于應(yīng)用本身的算法變化較大，另一方面，硬件平臺(tái)也可能給其他用戶的相似應(yīng)用使用，因此，彈性一些的加速會(huì)更合適一些。這樣，GPU就成了應(yīng)用加速的首選。

基礎(chǔ)設(shè)施層?；A(chǔ)設(shè)施層相對(duì)變化較少（但并不意味著不變化），所以通常DSA架構(gòu)處理引擎可以滿足靈活性的基礎(chǔ)上，實(shí)現(xiàn)最極致的性能。

這個(gè)劃分，并不一定完全準(zhǔn)確。還需要根據(jù)具體的工作任務(wù)特定，決定選擇具體的處理器類(lèi)型。

還有一點(diǎn)就是動(dòng)態(tài)變化?？赡茈S著系統(tǒng)的發(fā)展，有的任務(wù)會(huì)“上浮”，越來(lái)越需要靈活性；有的任務(wù)會(huì)“下沉”，更可以通過(guò)更優(yōu)的硬件加速來(lái)極致的提升性能。

總之，大原則是：要在滿足性能的基礎(chǔ)上，提供最極致的靈活性；或者，在滿足靈活性要求的基礎(chǔ)上盡可能的選擇性能更優(yōu)的處理引擎方案，實(shí)現(xiàn)盡可能極致的性能。 每個(gè)引擎都有優(yōu)勢(shì)，也有劣勢(shì)，通過(guò)單兵作戰(zhàn)，我們只能“權(quán)衡”。但通過(guò)“團(tuán)隊(duì)協(xié)作”的超異構(gòu)，我們能夠?qū)崿F(xiàn)優(yōu)勢(shì)互補(bǔ)，可以像拔河一樣，把性能和靈活性都拉扯到極致。

3.5 案例：Intel愿景，完全可編程的網(wǎng)絡(luò)

Intel SVP Nick McKeown 在 ONF Connect 2019演講中第一次定義了SDN發(fā)展的三個(gè)階段：

第一階段（2010–2020年）：通過(guò)Openflow將控制面和數(shù)據(jù)面分離，用戶可以通過(guò)集中的控制端去控制每個(gè)交換機(jī)的行為；

第二階段（2015–2025年）：通過(guò)P4編程語(yǔ)言以及可編程FPGA或ASIC實(shí)現(xiàn)數(shù)據(jù)面可編程，這樣，在包處理流水線加入一個(gè)新協(xié)議的支持，開(kāi)發(fā)周期從數(shù)年降低到數(shù)周；

第三階段（2020–2030年）：展望未來(lái)，網(wǎng)卡、交換機(jī)以及協(xié)議棧均可編程，整個(gè)網(wǎng)絡(luò)成為一個(gè)可編程平臺(tái)。

這預(yù)示著，未來(lái)不管是交換機(jī)側(cè)還是網(wǎng)卡側(cè)，均需要實(shí)現(xiàn)類(lèi)似CPU于通用程序設(shè)計(jì)的完全可編程的網(wǎng)絡(luò)處理引擎，并且要基于此平臺(tái)實(shí)現(xiàn)一整套的軟件堆棧。把一個(gè)完全可編程的網(wǎng)絡(luò)交給用戶，支撐用戶更快速的網(wǎng)絡(luò)創(chuàng)新。

上圖是Intel對(duì)整個(gè)未來(lái)網(wǎng)絡(luò)演進(jìn)趨勢(shì)的看法：從云數(shù)據(jù)中心、核心網(wǎng)、接入網(wǎng)、邊緣計(jì)算甚至終端設(shè)備，都會(huì)演化成完全“軟件定義的可編程網(wǎng)絡(luò)”。 當(dāng)然，只是可編程的網(wǎng)絡(luò)還不夠。對(duì)數(shù)量眾多的計(jì)算節(jié)點(diǎn)來(lái)說(shuō)，對(duì)用戶來(lái)說(shuō)，完全可編程的計(jì)算（存儲(chǔ)等其他處理都可以歸到計(jì)算部分）才是更重要的。這樣，可編程的網(wǎng)絡(luò)和可編程的計(jì)算，共同組成了完全可編程的數(shù)據(jù)中心。

04完全可編程，還需要在硬件層次

提供更多通常屬于軟件的能力

4.1 可擴(kuò)展

云計(jì)算有很多關(guān)鍵的能力，如彈性伸縮、虛擬化、多租戶等。這些都對(duì)硬件的擴(kuò)展能力提出了更高的要求：

功能的擴(kuò)展。各類(lèi)處理引擎的可編程能力來(lái)實(shí)現(xiàn)不同的功能；不同引擎的組合可以組織成不同的宏功能。

平行擴(kuò)展。處理引擎要支持虛擬化，類(lèi)似硬件里的多通道的概念?？梢蕴峁?shù)以千計(jì)甚至數(shù)以萬(wàn)計(jì)的通道，使得每一個(gè)租戶每個(gè)VM/容器甚至每一個(gè)應(yīng)用都可以獨(dú)占物理通道（資源）。

多芯片擴(kuò)展?？梢酝ㄟ^(guò)多芯片、多服務(wù)器、多Rack甚至多POD擴(kuò)展，并且大家都是完全平行的，不產(chǎn)生新的Hierarchy分層（會(huì)顯著增加系統(tǒng)復(fù)雜度，編程困難）。

4.2 軟件實(shí)體和硬件平臺(tái)分離

通常情況下，軟件是附屬于硬件而存在，軟件實(shí)體和硬件平臺(tái)是綁定的。 而在數(shù)據(jù)中心，軟件和硬件是分離的：同一個(gè)軟件實(shí)體會(huì)在不同的硬件實(shí)體遷移，而同樣的一個(gè)硬件實(shí)體也需要運(yùn)行不同的軟件實(shí)體。 這樣的需求，對(duì)硬件平臺(tái)的一致性提出了很高的要求。

4.3 云網(wǎng)邊端融合

云計(jì)算、邊緣計(jì)算、終端以及網(wǎng)絡(luò)，算力需求不斷提高，系統(tǒng)復(fù)雜度不斷提高，對(duì)硬件的靈活可編程性要求也越來(lái)越高。 云網(wǎng)邊端不是割裂的，而是組合成一個(gè)更大的系統(tǒng)的。微服務(wù)可運(yùn)行在云端、邊緣端，甚至終端本地。這就需要云數(shù)據(jù)中心內(nèi)部，以及跨云邊端的硬件平臺(tái)一致性。

4.4 開(kāi)放生態(tài)

隨著系統(tǒng)越來(lái)越復(fù)雜，未來(lái)，所有的芯片都會(huì)是超異構(gòu)架構(gòu)芯片。所有的芯片也都需要支持虛擬化。并且，隨著性能的提升，軟件虛擬化代價(jià)越來(lái)越高，要盡可能的把虛擬化下沉到硬件加速。廣義的虛擬化，不僅僅包括Hypervisor和I/O設(shè)備模擬，也包括網(wǎng)絡(luò)VPC和分布式存儲(chǔ)。DPU等芯片，本質(zhì)上就是實(shí)現(xiàn)整個(gè)廣義虛擬化的加速。 關(guān)于生態(tài)，這里講三個(gè)仍在早期發(fā)展的對(duì)比案例：

NVIDIA DPU和DOCA。NVIDIA走的是一套完全封閉的路子，給客戶提供性強(qiáng)勁功能相對(duì)完善的解決方案；但對(duì)可編程能力的支持，不是很友好。我們是不是可以類(lèi)比為塞班？

Intel IPU和IPDK和OPI。Intel走的是開(kāi)放平臺(tái)的路子，如果類(lèi)比到智能手機(jī)領(lǐng)域，那么IPDK是否可以類(lèi)比為安卓？

博通計(jì)劃收購(gòu)VMWare。博通走的是直接收購(gòu)現(xiàn)有技術(shù)生態(tài)的路子。底層芯片公司收購(gòu)虛擬化技術(shù)和生態(tài)公司，強(qiáng)強(qiáng)整合，從DPU芯片到系統(tǒng)到生態(tài)，在企業(yè)和私有云場(chǎng)景，基本上可以通吃。VMWare的虛擬化技術(shù)本身，也是全球領(lǐng)先。博通可以通過(guò)這次收購(gòu)，引領(lǐng)虛擬化相關(guān)技術(shù)發(fā)展趨勢(shì)?，F(xiàn)在收購(gòu)還未成功，說(shuō)類(lèi)比蘋(píng)果iOS還為時(shí)尚早，未來(lái)發(fā)展，繼續(xù)觀察。

從CPU到ASIC，越來(lái)越多的不同領(lǐng)域/不同場(chǎng)景的處理引擎。而且即使是同一領(lǐng)域或場(chǎng)景，不同廠家的實(shí)現(xiàn)架構(gòu)也會(huì)完全不同。領(lǐng)域或場(chǎng)景越來(lái)越碎片化，構(gòu)建生態(tài)越來(lái)越困難。系統(tǒng)的設(shè)計(jì)，逐步從硬件定義軟件，轉(zhuǎn)向軟件定義硬件。這也符合目前“軟件定義一切”的大趨勢(shì)。 此外，需要軟件原生支持硬件加速。軟件在架構(gòu)設(shè)計(jì)的時(shí)候就要區(qū)分控制平面和計(jì)算平面，實(shí)現(xiàn)兩者分離，然后把計(jì)算平面下沉到硬件。 當(dāng)異構(gòu)處理器的引擎架構(gòu)越來(lái)越多，（不同廠家）芯片數(shù)量越來(lái)越多，所處的環(huán)境（云網(wǎng)邊端）也越來(lái)越多，需要構(gòu)建高效的、標(biāo)準(zhǔn)的、開(kāi)放的生態(tài)體系。

審核編輯 ：李倩