下一站AI：實(shí)時(shí)服務(wù)

隨著實(shí)時(shí)服務(wù)浪潮逐漸滲透進(jìn)我們的日常生活，計(jì)算基礎(chǔ)設(shè)施也開始迎來重大變化。從使用自然語言提供即時(shí)型個(gè)人智能助手，到通過店面分析生成與客戶購物行為相關(guān)的結(jié)論信息，各類實(shí)時(shí)服務(wù)的出現(xiàn)給服務(wù)供應(yīng)商帶來了前所未有的巨大市場(chǎng)空間。

為了從這些服務(wù)中獲取價(jià)值，一大基本前提就是保證數(shù)據(jù)與洞見結(jié)論的即時(shí)可訪問能力;很明顯，這種能力在很大程度上需要AI技術(shù)作為基礎(chǔ)。也正因?yàn)槿绱?，Amazon Web Services（AWS）、微軟、阿里巴巴以及SK電信等云服務(wù)巨頭都在開發(fā)自己的計(jì)算基礎(chǔ)設(shè)施，用于提供這類服務(wù)方案。

數(shù)據(jù)中心運(yùn)營(yíng)商現(xiàn)在也需要優(yōu)化計(jì)算以滿足實(shí)時(shí)響應(yīng)要求。為此，IT架構(gòu)不僅要解決持續(xù)快速變化的工作負(fù)載與算法需求（主要由AI驅(qū)動(dòng)），同時(shí)必須進(jìn)一步提升計(jì)算資源與存儲(chǔ)/網(wǎng)絡(luò)資源的集成水平。

這就給服務(wù)供應(yīng)商帶來了新的難題：要求他們提供一套能夠?qū)崿F(xiàn)差異化優(yōu)勢(shì)與卓越性能，同樣具備高吞吐量、低延遲與靈活軟件/硬件堆棧的基礎(chǔ)設(shè)施平臺(tái)。這套平臺(tái)還必須能夠處理從遞歸神經(jīng)網(wǎng)絡(luò)、長(zhǎng)期/短期內(nèi)存網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)以及基于Apache Spark集群計(jì)算框架的查詢加速等實(shí)際任務(wù)。

為了建立起這樣的差異化優(yōu)勢(shì)，服務(wù)供應(yīng)商開始自主構(gòu)建與眾不同的硬件與軟件堆棧。例如，AWS Advanced Query Accelerator就是一套包含定制化軟件與可編程硬件堆棧的數(shù)據(jù)分析平臺(tái)。SK電信最近也立足自家定制化軟件與可編程硬件堆棧，開發(fā)出支持AI技術(shù)的語音與視頻分析方案。

下一輪計(jì)算還需要具備自適應(yīng)性，將軟件與硬件合并在一處，且硬件與軟件都要擁有可編程性以滿足業(yè)務(wù)用例對(duì)于實(shí)時(shí)性能、最高吞吐量以及低延遲/低功耗的要求。隨著實(shí)時(shí)解決方案的增長(zhǎng)與人工智能技術(shù)的發(fā)展，工作負(fù)載的日益提升以及非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長(zhǎng)，數(shù)據(jù)中心的發(fā)展方向正朝著加速計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)適應(yīng)性前進(jìn)。

實(shí)時(shí)預(yù)測(cè)

學(xué)術(shù)研究人員目前正利用高性能計(jì)算（HPC）解決真實(shí)世界中存在的各類高復(fù)雜度問題。為了加快洞察處理過程與大規(guī)模HPC部署工作，原始計(jì)算能力、能源效率與適應(yīng)性已經(jīng)成為決定項(xiàng)目最終命運(yùn)的先決條件。

為了回答世界上最具挑戰(zhàn)性的科學(xué)問題之一，歐洲粒子物理實(shí)驗(yàn)室（CERN）約2萬名科學(xué)家組成的聯(lián)盟正試圖重現(xiàn)宇宙的起源。為此，研究人員必須不斷突破技術(shù)極限。

大型強(qiáng)子對(duì)撞機(jī)是世界上最大的粒子加速器?？傞L(zhǎng)27公里的環(huán)形隧道由超導(dǎo)磁體組成，可將粒子加速到前所未有的能量水平。每個(gè)質(zhì)子每秒繞隧道運(yùn)行11000圈，速度接近于光速。環(huán)形隧道上還部署有四個(gè)定位點(diǎn)（質(zhì)子每25納秒經(jīng)過一次），質(zhì)子將在這里發(fā)生碰撞。對(duì)撞的條件將由粒子探測(cè)器捕捉并記錄。

整個(gè)觸發(fā)系統(tǒng)分兩層實(shí)現(xiàn)——第一層觸發(fā)要求AI技術(shù)在約3微秒周期內(nèi)完成事件處理，這對(duì)其推理延遲提出了極高的要求。至于第二層，自然是大量的數(shù)據(jù)傳輸帶寬。

CPU與GPU根本無法滿足這樣的要求。因此，研究人員在地下100米深、且不受輻射區(qū)影響的位置構(gòu)建起一套用于運(yùn)行分析算法的FPGA網(wǎng)絡(luò)。該算法旨在即時(shí)過濾生成的數(shù)據(jù)并識(shí)別新型亞粒子結(jié)構(gòu)，借此證明暗物質(zhì)的存在乃至其他重要物理現(xiàn)象。這些FPGA將同時(shí)運(yùn)行經(jīng)典與卷積神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)接收并校準(zhǔn)傳感器數(shù)據(jù)、執(zhí)行跟蹤與聚類、運(yùn)行機(jī)器學(xué)習(xí)對(duì)象識(shí)別并觸發(fā)功能——所有操作都需要在事件數(shù)據(jù)的格式化與交付之前完成。結(jié)果就是，這套網(wǎng)絡(luò)帶來了極低的推理延遲（約100納秒）。

為實(shí)時(shí)分析提供存儲(chǔ)支持

高速存儲(chǔ)方案的采用，以及現(xiàn)實(shí)用例對(duì)于數(shù)據(jù)密集型應(yīng)用程序的更高性能要求，已經(jīng)令現(xiàn)有CPU、內(nèi)存與存儲(chǔ)淪為瓶頸。為此，研究人員的探索重點(diǎn)由計(jì)算能力轉(zhuǎn)向通過計(jì)算存儲(chǔ)完成數(shù)據(jù)處理。這樣的轉(zhuǎn)變，也給應(yīng)用程序性能與基礎(chǔ)設(shè)施整體效率帶來了深遠(yuǎn)影響。

最可行的解決方案，自然是盡可能縮小計(jì)算與數(shù)據(jù)間的距離。將數(shù)據(jù)分析與存儲(chǔ)集成在一起，能夠極大減少系統(tǒng)層面的數(shù)據(jù)瓶頸、提高并行度，同時(shí)降低總體功耗水平。這種方法也得到IBM及美光科技等廠商的支持，他們據(jù)此開發(fā)出加速存儲(chǔ)與計(jì)算存儲(chǔ)產(chǎn)品，保證一切處理方案緊緊圍繞在數(shù)據(jù)周邊。三星電子還推出SmartSSD，將閃存作為主干建立高性能加速計(jì)算體系，借此克服CPU與內(nèi)存帶來的限制。通過將智能元素推送至數(shù)據(jù)所在的位置，三星SmartSSD成功提高了速度與效率，同時(shí)降低了運(yùn)營(yíng)成本。

復(fù)雜網(wǎng)絡(luò)

隨著虛擬化計(jì)算與容器化工作負(fù)載的出現(xiàn)，網(wǎng)絡(luò)也變得越來越復(fù)雜。在將這些環(huán)境擴(kuò)展到單一服務(wù)器之外時(shí)，我們必須與其匹配復(fù)雜的覆蓋網(wǎng)絡(luò)。覆蓋網(wǎng)絡(luò)的本質(zhì)，屬于通過分組封裝概念動(dòng)態(tài)創(chuàng)建并維護(hù)的虛擬化系統(tǒng)。對(duì)這種封裝進(jìn)行監(jiān)管，必然會(huì)增強(qiáng)操作系統(tǒng)或虛擬化內(nèi)核的處理負(fù)擔(dān)。在與傳統(tǒng)網(wǎng)絡(luò)任務(wù)配合使用時(shí)，這類方案會(huì)直接消耗掉近30%的服務(wù)器原始CPU周期。

目前比較常見的覆蓋網(wǎng)絡(luò)管理方法當(dāng)屬vSwitch（OvS）協(xié)議?；贔PGA的SmartNIC（網(wǎng)卡）能夠把這近30%的計(jì)算負(fù)擔(dān)從主機(jī)CPU轉(zhuǎn)移到自身之上。簡(jiǎn)而言之，三臺(tái)配備OvS協(xié)議SmartNIC的服務(wù)器，足以提供等同于四臺(tái)配備標(biāo)準(zhǔn)網(wǎng)卡的服務(wù)器的計(jì)算能力。

基于FPGA的SmartNIC還能顯著降低服務(wù)器CPU在執(zhí)行安全與加密任務(wù)時(shí)面臨的計(jì)算負(fù)擔(dān)。目前的安全保障方案通常采取深度數(shù)據(jù)包檢查的形式;一旦發(fā)現(xiàn)數(shù)據(jù)包中存在威脅，則將該數(shù)據(jù)包丟棄。這種方法能夠增強(qiáng)甚至徹底取代企業(yè)在服務(wù)器上運(yùn)行的傳統(tǒng)防火墻軟件。另外，SmartNIC也可以輕松承擔(dān)起各類加密與解密任務(wù)。

新的世界，新的秩序

在實(shí)時(shí)服務(wù)新時(shí)代之下，考慮到成本、功耗以及純CPU的擴(kuò)展能力等各類限制性條件，單純使用CPU或者多核心CPU來滿足業(yè)務(wù)需求早已不具備可行性。對(duì)于大多數(shù)復(fù)合型工作負(fù)載而言，單純投入更多服務(wù)器CPU已經(jīng)永遠(yuǎn)無法帶來必要的性能表現(xiàn)。

隨著摩爾定律的逐步終結(jié)，下一代CPU恐怕也無法解決這些實(shí)際問題。因此，自適應(yīng)計(jì)算加速器將成為一種可行的解決方案，有望在滿足廣泛計(jì)算需求的同時(shí)，極大提高擴(kuò)展能力以幫助企業(yè)控制運(yùn)營(yíng)成本。