亞馬遜云科技re:Invent現(xiàn)場訪談：定制芯片將是大勢所趨

關(guān)注云服務(wù)市場的讀者朋友想必都知道，雖然芯片市場早已有著英特爾、AMD、英偉達(dá)、高通、聯(lián)發(fā)科技等諸多強(qiáng)有力的廠商，但是近年來針對某些應(yīng)用，越來越多的云服務(wù)商開始推出自研芯片。

那么問題就來了：究竟是什么樣的原因，讓這些云服務(wù)商走上了定制芯片的道路？與大家熟知的傳統(tǒng)芯片相比，這些定制芯片究竟擁有哪些優(yōu)勢？對于芯片市場而言，這種變化又預(yù)示著怎樣的未來？

作為亞馬遜云科技EC2產(chǎn)品管理總監(jiān)，Chetan Kapoor主要負(fù)責(zé)人工智能、機(jī)器學(xué)習(xí)、高性能計(jì)算、圖像處理、游戲開發(fā)等業(yè)務(wù)。在2022亞馬遜云科技re:Invent全球大會(huì)現(xiàn)場，趣味科技通過對Chetan Kapoor的采訪，逐一揭曉了以上問題的答案。

亞馬遜云科技的三類計(jì)算服務(wù)

在計(jì)算領(lǐng)域，亞馬遜云科技的產(chǎn)品與服務(wù)主要有三個(gè)大的分類。

1、按需索?。阂訟mazon EC2為代表。Amazon EC2的核心能力，就是將重要資源分離開來并按需交給客戶?？蛻魺o需在本地進(jìn)行硬件堆砌，只需使用一個(gè)API或者在亞馬遜云科技的控制臺(tái)發(fā)出計(jì)算資源請求后，即可向客戶提供所需的服務(wù)。

2、無服務(wù)器：以Amazon Lambda系列為代表。該系列產(chǎn)品是一種無服務(wù)器計(jì)算組件，客戶無需管理計(jì)算資源，只需提供相關(guān)代碼并允許亞馬遜云科技執(zhí)行代碼，亞馬遜云科技就會(huì)圍繞該代碼提供一系列的相關(guān)應(yīng)用，客戶只需做好應(yīng)用即可。

3、容器計(jì)算：容器化計(jì)算的所有應(yīng)用都是基于容器，亞馬遜云科技提供了一系列可以幫助客戶開發(fā)容器化應(yīng)用的服務(wù)；Amazon Fargate則讓客戶只需要?jiǎng)?chuàng)建容器，給出指令“這是我的容器，運(yùn)行它”即可。

亞馬遜云科技的自研芯片之旅

Chetan Kapoor透露，之前亞馬遜云科技在很長時(shí)間里都是用英特爾、英偉達(dá)、AMD等合作伙伴的芯片，譬如Amazon EC2就是基于英特爾提供的芯片開發(fā)的，在機(jī)器學(xué)習(xí)領(lǐng)域采用了英偉達(dá)的GPU效果也非常不錯(cuò)。然而后續(xù)亞馬遜云科技也不斷收到客戶的積極反饋，希望能夠有更加細(xì)化的產(chǎn)品服務(wù)可供選擇，幫助客戶圍繞某些應(yīng)用降本增效，提升性能，以及更好地匹配應(yīng)用需求。

“十年前亞馬遜云科技開始做自研芯片，剛開始是Amazon Nitro虛擬化芯片，后面又開始打造Amazon Graviton CPU芯片。過去的四到五年里，我們的重點(diǎn)都是持續(xù)構(gòu)建芯片來加速人工智能和機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)?！盋hetan Kapoor介紹道，亞馬遜云科技的自研芯片之旅是從開發(fā)Amazon Nitro芯片開始，它是幫助用戶卸載虛擬化工作負(fù)載的專用芯片。通常硬件虛擬化的主要方式是讓虛擬化軟件在同一臺(tái)服務(wù)器上運(yùn)行，支持客戶的工作負(fù)載。假設(shè)客戶的服務(wù)器是48核心，那么大概需要預(yù)留10%-15%的算力來運(yùn)行虛擬化軟件。而Amazon Nitro是有自己獨(dú)立CPU的芯片，具備單獨(dú)完成虛擬化的能力，服務(wù)器就不需要承擔(dān)虛擬化軟件的資源開銷，可以給客戶交付更高性能的實(shí)例（云主機(jī)）。從此，亞馬遜云科技就走上了定制芯片之路，也開始開發(fā)通用處理器，其中第一個(gè)版本就是4年前推出的Amazon Graviton。

除此之外，人工智能與機(jī)器學(xué)習(xí)也是客戶向亞馬遜云科技反饋較多的領(lǐng)域，尤其是當(dāng)前深度學(xué)習(xí)模型的應(yīng)用普及非常迅速，每年都會(huì)有十幾倍的增長，訓(xùn)練這些深度學(xué)習(xí)模型需要消耗大量算力和成本，讓許多企業(yè)不堪重負(fù)。為了幫助客戶降低成本，亞馬遜云科技開始進(jìn)行自研深度學(xué)習(xí)推理芯片的開發(fā)，發(fā)布的第一款芯片就是2019年推出的Amazon Inferentia。隨后亞馬遜云科技又再接再厲推出了Amazon Trainium，主要針對機(jī)器學(xué)習(xí)訓(xùn)練工作負(fù)載。

在亞馬遜云科技2022 re:Invent全球大會(huì)上，亞馬遜云科技高級(jí)副總裁Peter DeSantis重磅發(fā)布了Nitro v5，其晶體管數(shù)量是前一代產(chǎn)品的2倍，提供了更多的計(jì)算性能，同時(shí)帶來了50%的DRAM內(nèi)存性能提升，2倍的PCle 帶寬提升，每秒數(shù)據(jù)包速率（PPS） 提高60%，延遲改善30%，每瓦性能提高40%。亞馬遜云科技CEO Adam Selipsky也在會(huì)上發(fā)布了下一代Amazon Inferentia2（簡稱Inf2），與Inf1實(shí)例相比可提供高3倍的計(jì)算性能、高4倍的吞吐量和低10倍的延遲。

定制芯片性能高成本低的奧秘

為什么與商用芯片相比，定制芯片既可以做到非常高的性能，又能夠做到非常低的成本？

Chetan Kapoor揭曉了其中的奧秘：“因?yàn)閷Ｓ眯酒堰\(yùn)算能力都給到了客戶，極大地提升了效率。以剛才介紹的Amazon Nitro為例，Nitro的特殊之處在于獨(dú)立性，整個(gè)虛擬化是在獨(dú)立的芯片和服務(wù)器運(yùn)行，因此可以讓客戶得到服務(wù)器100%的算力資源，這也意味著客戶得到的計(jì)算性能更高、成本更低?！?/p>

在Amazon Nitro芯片研發(fā)取得成功之后，亞馬遜云科技就開始著手研發(fā)自己的處理器，希望能夠幫助客戶降低成本，提升效率。事實(shí)也證明，Amazon Graviton2的同規(guī)格實(shí)例性價(jià)比提升高達(dá)40%。而在人工智能與機(jī)器學(xué)習(xí)領(lǐng)域，亞馬遜云科技也專門研發(fā)了針對機(jī)器學(xué)習(xí)推理的芯片，可以帶來更好的性能、更低的成本以及更強(qiáng)的機(jī)器學(xué)習(xí)推理能力。與Amazon Graviton帶來的收益類似，客戶可以看到亞馬遜云科技提供的機(jī)器學(xué)習(xí)芯片無論是用于模型訓(xùn)練還是日常生產(chǎn)，性價(jià)比都要比其他同類產(chǎn)品高出40%-50%。

在2022亞馬遜云科技re:Invent全球大會(huì)上，亞馬遜云科技高級(jí)副總裁Peter DeSantis還發(fā)布了Amazon Graviton3E 芯片以及高性能計(jì)算實(shí)例HPC7g、C7gn，與現(xiàn)有的Graviton系列產(chǎn)品相比，新的Amazon Graviton3E芯片無論是性能還是精度都有著更高的提升，其中對依賴矢量計(jì)算指令的工作負(fù)載其性能提高了35%。

定制芯片將會(huì)成為未來主流

從2006年3月14日亞馬遜云科技發(fā)布第一個(gè)云存儲(chǔ)服務(wù)Amazon Simple Storage Service（簡稱S3）至今，云計(jì)算已經(jīng)走過了16年的發(fā)展歷程。然而在Chetan Kapoor看來，其實(shí)一切還只是剛剛開始：“如今許多傳統(tǒng)行業(yè)，包括金融和醫(yī)療等很多都還處于上云的初級(jí)階段，很多企業(yè)還在用自建的數(shù)據(jù)中心，因此云計(jì)算在未來還有著非常廣闊的發(fā)展前景?！?/p>

而對于定制芯片的未來，亞馬遜全球副總裁兼CTO Werner Vogels博士有著這樣的預(yù)測：“2023年定制芯片的使用將迅速增加。因此，隨著工作負(fù)載將利用硬件優(yōu)化來最大限度地提高性能，同時(shí)降低能耗和成本，創(chuàng)新的步伐將會(huì)進(jìn)一步加快?！?/p>

Werner Vogels博士指出，在消費(fèi)技術(shù)行業(yè)，定制芯片和定制硬件因?yàn)樵谛阅苌系娘@著提升而獲得了迅速發(fā)展，但是商業(yè)應(yīng)用程序和系統(tǒng)的情況卻并非如此。然而隨著定制芯片的普及和采用，這種情況將在未來幾年迅速發(fā)生改變。亞馬遜云科技近年來之所以在芯片設(shè)計(jì)上投入大量資金，正是因?yàn)閬嗰R遜云科技知道客戶的工作負(fù)載在定制芯片上運(yùn)行，會(huì)具有更好的性能以及更高的成本效益。

“以機(jī)器學(xué)習(xí)工作負(fù)載為例，未來幾年越來越多的工程師將會(huì)看到將工作負(fù)載轉(zhuǎn)移到專為模型訓(xùn)練（Amazon Trainium）和推理（Amazon Inferentia）設(shè)計(jì)的芯片所帶來的好處。通過使用基于Trainium的實(shí)例實(shí)現(xiàn)約50%的訓(xùn)練成本節(jié)省，或者使用基于Inferentia2的實(shí)例實(shí)現(xiàn)50%的每瓦特性能提升，工程師和企業(yè)都會(huì)注意到，我們將開始工作負(fù)載的大規(guī)模遷移。而在性能提升以及成本節(jié)約上的巨大優(yōu)勢，也將帶來更多的實(shí)驗(yàn)、創(chuàng)新以及應(yīng)用，并最終為其他特定工作負(fù)載提供更多的定制芯片，從而形成一個(gè)良性循環(huán)?！盬erner Vogels博士表示。

審核編輯 ：李倩