積極布局邊緣運(yùn)算市場，建構(gòu)完善AI生態(tài)

AI迅速崛起，運(yùn)算分析已開始從云端邁向終端裝置，邊緣運(yùn)算勢在必行，其發(fā)展備受半導(dǎo)體產(chǎn)業(yè)關(guān)注，且各領(lǐng)域業(yè)者也競相投入開發(fā)關(guān)鍵組件/技術(shù)，而Computex 2018更成為各技術(shù)陣營的火力展示場合。

人工智能(AI)發(fā)展愈加快速，并開始大舉進(jìn)軍終端裝置，運(yùn)算分析已開始從云端轉(zhuǎn)向終端節(jié)點(diǎn)，邊緣運(yùn)算發(fā)展可說是目前半導(dǎo)體產(chǎn)業(yè)熱門議題，而2018臺北國際計(jì)算機(jī)展(Computex 2018)也成為各領(lǐng)域業(yè)者(如IP、芯片、儲存) 火力展示的絕佳場合，紛紛于展會期間發(fā)布新的解決方案或市場布局規(guī)畫。

搶攻邊緣運(yùn)算市場 Arm動作頻頻

Arm IP產(chǎn)品事業(yè)群總裁Rene Haas(圖1)表示，隨著物聯(lián)網(wǎng)的蓬勃發(fā)展，Arm預(yù)測至2035年全球?qū)谐^1兆臺的聯(lián)網(wǎng)裝置，運(yùn)用于醫(yī)療、汽車、燈具及道路等范疇， 而聯(lián)網(wǎng)裝置數(shù)量的大幅成長也將帶領(lǐng)終端及云端運(yùn)算的持續(xù)發(fā)展。 智能運(yùn)算將持續(xù)推動物聯(lián)網(wǎng)嶄新時代，帶領(lǐng)AI變革，促使物聯(lián)網(wǎng)智能運(yùn)算無所不在。

圖1 Arm IP產(chǎn)品事業(yè)群總裁Rene Haas表示，物聯(lián)網(wǎng)蓬勃發(fā)展將使聯(lián)網(wǎng)裝置快速增加，智能運(yùn)算未來將無所不在。

因應(yīng)此一趨勢，且為整合生態(tài)系統(tǒng)的AI/機(jī)器學(xué)習(xí)(ML)應(yīng)用、演算與框架，并結(jié)合軟件優(yōu)化與硬件IP產(chǎn)品，讓各式裝置及平臺都能支持最常使用的機(jī)器學(xué)習(xí)框架，Arm近期宣布推出三款全新IP產(chǎn)品，分別為Cortex-A76 CPU、 Mali-G76 GPU，以及Mali-V76 VPU，以提升游戲與AR/VR體驗(yàn)，AI和機(jī)器學(xué)習(xí)能力。 透過這三款新產(chǎn)品，Arm將持續(xù)強(qiáng)化該公司于行動領(lǐng)域的競爭優(yōu)勢，也再度增強(qiáng)了智能手機(jī)、平板計(jì)算機(jī)、PC等行動終端裝置的運(yùn)算效能。

Arm副總裁暨客戶事業(yè)部總經(jīng)理Nandan Nayampally(圖2)表示，未來5G將推動整個行動產(chǎn)業(yè)創(chuàng)新，即將到來的5G聯(lián)網(wǎng)應(yīng)用，包含VR、AI或是手機(jī)游戲等將會帶動更多運(yùn)算量成長，未來將會有更多不同運(yùn)算需求產(chǎn)生。

圖2 Arm副總裁暨客戶事業(yè)部總經(jīng)理Nandan Nayampally指出，5G加AI將推動整個行動產(chǎn)業(yè)創(chuàng)新，Arm為此推出全新IP產(chǎn)品因應(yīng)市場需求。

Nayampally進(jìn)一步指出，游戲也是推動行動裝置運(yùn)算持續(xù)攀升的關(guān)鍵因素之一。 游戲產(chǎn)業(yè)已成目前全球營收規(guī)模最大的市場之一，預(yù)計(jì)在2018年可達(dá)到1,379億美元的產(chǎn)值，這也驅(qū)動了消費(fèi)者對于運(yùn)算效能的需求。

據(jù)悉，Cortex-A76是基于Arm旗下的DynamIQ技術(shù)打造，和去年所發(fā)布的Cortex-A75相比，提升了35%的效能與40%的效率;可為終端裝置上的AI/ML提供4倍的運(yùn)算效能， 于PC和智能手機(jī)上實(shí)現(xiàn)快速且安全的體驗(yàn)。

Mali-G76則比前一代的Mali-G72 GPU提升30%運(yùn)算效能，以及增加了30%的效能密度，不僅可滿足消費(fèi)者隨時游玩高階游戲的需求，也為開發(fā)人員提供更多的效能空間，使他們能編寫更多新的應(yīng)用程序， 為行動應(yīng)用帶來更多高階游戲，或是將AR/VR整合至生活當(dāng)中。

最后，隨著UHD 8K需求逐漸攀升，為確保IP能支持智能手機(jī)和其他裝置編碼譯碼運(yùn)算，Arm便推出Mali-V76，可支持高達(dá)60fps的8K分辨率或四部60fps的4K串流影片，消費(fèi)者能同時串流四部4K分辨率的電影、 在視頻會議中錄制影片，或者以4K觀看四場比賽;或在較低分辨率的狀況下，仍能呈現(xiàn)高分辨率畫質(zhì)(Full HD)，并能支持多達(dá)16部串流影片組成4×4的電視墻。

Project Trillium亮相 加速建構(gòu)ML生態(tài)系

與此同時，為提升終端裝置機(jī)器學(xué)習(xí)效能，Arm也于2018年初發(fā)表Project Trillium平臺，包含全新機(jī)器學(xué)習(xí)處理器(ML Processor)、對象偵測處理器(Objects Processor)， 以及Arm神經(jīng)網(wǎng)絡(luò)軟件(Arm NN)。 相較于獨(dú)立CPU、GPU與加速器，Project Trillium平臺效能更遠(yuǎn)遠(yuǎn)超越傳統(tǒng)DSP的可編程邏輯。

Arm副總裁、院士暨機(jī)器學(xué)習(xí)事業(yè)群總經(jīng)理Jem Davies(圖3)指出，邊緣運(yùn)算發(fā)展?jié)摿κ铸嫶?，目前市面上的確有許多獨(dú)立的解決方案，像是ASIC加速器、CPU/GPU等。 終端業(yè)者當(dāng)然可以選擇自己想要的方案，不過缺點(diǎn)在于須花費(fèi)時間自行進(jìn)行硬件與軟件(TensorFlow、Caffe)的整合。

圖3 Arm副總裁、院士暨機(jī)器學(xué)習(xí)事業(yè)群總經(jīng)理Jem Davies認(rèn)為，Project Trillium可望為終端裝置打造完整的機(jī)器學(xué)習(xí)生態(tài)系。

Davies說明，Project Trillium的優(yōu)勢在于，是以平臺的架構(gòu)呈現(xiàn)，硬件方面不僅有ML Processor和Objects Processor可供選擇，同時也能透過Arm NN軟件， 協(xié)助用戶簡化TensorFlow、Caffe與Android NN等神經(jīng)網(wǎng)絡(luò)框架和Arm Cortex CPU、Arm Mali GPU與機(jī)器學(xué)習(xí)處理器之間的鏈接整合。

Davies進(jìn)一步指出，軟件整合是發(fā)展機(jī)器學(xué)習(xí)其中一個關(guān)鍵要素，許多加速器業(yè)者或許有辦法提供相關(guān)硬件處理器(CPU、GPU)，但卻少有資源可以提供一個完善的平臺架構(gòu)，協(xié)助客戶進(jìn)行軟硬件整合或是提升ML模型運(yùn)算， 而Project Trillium包含全新的Arm IP處理器及神經(jīng)網(wǎng)絡(luò)軟件，從硬件和軟件面都能滿足現(xiàn)今市場需求，而這種方式也有助于Arm建構(gòu)完善的邊緣運(yùn)算生態(tài)系。

另外，Davies也觀察到，MCU對機(jī)器學(xué)習(xí)的需求也十分強(qiáng)勁。 他透露，在Project Trillium上線，Arm NN軟件開發(fā)工具包開放用戶下載的第一天，就有超過5,000名用戶開始使用CMSIS NN，嘗試以Cortex-M執(zhí)行機(jī)器學(xué)習(xí)算法。

Davies說，這個結(jié)果其實(shí)出乎Arm的預(yù)料，也顯示MCU用戶群對機(jī)器學(xué)習(xí)的需求跟興趣，是不容忽視的。 這也促使Arm決定在未來推出的新版Cortex-M核心中，進(jìn)一步強(qiáng)化這類核心執(zhí)行ML算法的效率。

CMSIS NN是Arm神經(jīng)網(wǎng)絡(luò)軟件開發(fā)工具包Arm NN SDK下的一個運(yùn)算函式庫(Compute Library)，可以提升Cortex-M執(zhí)行機(jī)器學(xué)習(xí)算法的效率。 即便是現(xiàn)有的Cortex-M核心，在CMSIS NN的幫助下，也可以執(zhí)行一些很簡單的機(jī)器學(xué)習(xí)推論，例如判讀傳感器輸出數(shù)據(jù)所代表的意義。 當(dāng)然，由于MCU的運(yùn)算效能跟內(nèi)存空間都不是很充裕，因此不可能執(zhí)行非常復(fù)雜機(jī)器學(xué)習(xí)推論，但如果是對單一傳感器節(jié)點(diǎn)輸出的數(shù)據(jù)做簡單判讀，還是有機(jī)會實(shí)現(xiàn)的。

Davies指出，MCU如果無法支持某些基本的ML算法，AI應(yīng)用無所不在的未來是難以實(shí)現(xiàn)的。 目前透過云端數(shù)據(jù)中心提供的人工智能應(yīng)用服務(wù)，其實(shí)有很明顯的應(yīng)用局限，只有把AI不斷往邊緣推進(jìn)，才能讓AI應(yīng)用更加普及。 而為了讓MCU能更有效率地執(zhí)行ML算法，在Arm未來的產(chǎn)品發(fā)展路線圖里面，Cortex-M執(zhí)行ML的效率將會進(jìn)一步提升。

邊緣運(yùn)算走入自動駕駛 高效能處理器不可或缺

另一方面，汽車產(chǎn)業(yè)未來也將是邊緣運(yùn)算的重點(diǎn)應(yīng)用領(lǐng)域之一。 根據(jù)Arm預(yù)測，至2020年平均一臺汽車中將會嵌入多達(dá)200多個傳感器，并經(jīng)由100多個發(fā)動機(jī)控制器(ECU)或微控制器(MCU)處理，而如何快速處理如此龐大的數(shù)據(jù)、實(shí)時做出回應(yīng)并同時維持系統(tǒng)的穩(wěn)定性與安全性， 打造符合用戶需求的自動駕駛車，將成為未來汽車電子市場的一大挑戰(zhàn)。

對此，Arm副總裁暨嵌入式及車用事業(yè)部總經(jīng)理John Ronco(圖4)指出，邊緣運(yùn)算興起，使得終端裝置不用再回傳大量數(shù)據(jù)到云端處理，但這也代表一般的CPU或機(jī)器學(xué)習(xí)芯片需要更高的處理效能，而這也是Arm推出Project Trillium和Cortex-A76的原因，而這些產(chǎn)品也相當(dāng)適合放在汽車電子組件之中。

圖4 Arm副總裁暨嵌入式及車用事業(yè)部總經(jīng)理John Ronco表示，CPU、GPU等處理器須具備更高效能才可因應(yīng)自動駕駛安全需求。

此外，為實(shí)現(xiàn)自動駕駛，一輛汽車上除了雷達(dá)、光達(dá)外，往往也會搭載視覺傳感器，也因此需要更高的GPU因應(yīng)龐大的影像運(yùn)算。

Ronco表示，自動駕駛的視覺運(yùn)算需求，和一般IP網(wǎng)絡(luò)攝影機(jī)差別在于，IP網(wǎng)絡(luò)攝影機(jī)大多是單一的鏡頭，且不常移動，通常是安置在屋內(nèi)/外某個角落監(jiān)看。 但對汽車而言，會須要搭載數(shù)個攝影鏡頭，偵測路況和環(huán)境，所接收的影像信息十分龐大，且由于汽車一直在移動，周遭景物也會跟著不停變化，這會使得運(yùn)算更加復(fù)雜，因此便需要完善的解決方案。

Ronco透露，像是Project Trillium內(nèi)的對象偵測處理器主要是用于IP網(wǎng)絡(luò)攝影機(jī)，而要滿足汽車視覺運(yùn)算需求，則是須靠如Mali-G76這類的高效GPU，具備更高的運(yùn)算效能，才能因應(yīng)汽車行駛時快速的環(huán)境變化， 避免事故發(fā)生。

總而言之，AI時代為各項(xiàng)應(yīng)用領(lǐng)域帶來新商機(jī)，而邊緣運(yùn)算也勢將會走入汽車產(chǎn)業(yè)當(dāng)中，但若要將邊緣運(yùn)算建構(gòu)于汽車中，必須嵌入更高階的技術(shù)才能達(dá)到更優(yōu)異的性能表現(xiàn)，使汽車能夠更智能、安全、有效率。

帶動儲存需求 WDC具一條龍生產(chǎn)優(yōu)勢

邊緣運(yùn)算興起，不僅促使處理器效能須跟著增加，就連儲存需求也跟著攀升，儲存業(yè)者因而加速產(chǎn)品布局腳步。 Western Digital嵌入式應(yīng)用解決方案事業(yè)部副總裁Christopher Bergey(圖5)指出，邊緣運(yùn)算、機(jī)器學(xué)習(xí)等技術(shù)，皆讓儲存和運(yùn)算變得相當(dāng)復(fù)雜。

圖5 Western Digital嵌入式應(yīng)用解決方案事業(yè)部副總裁Christopher Bergey表示，因應(yīng)邊緣運(yùn)算市場，該公司一條龍的生產(chǎn)模式為市場競爭優(yōu)勢。

Bergey進(jìn)一步說明，邊緣運(yùn)算會隨著不同的應(yīng)用情境，對儲存產(chǎn)品有不同要求，像是在汽車上特別重視溫度、可靠性，在近年來又添加了成本和穩(wěn)定供貨5年的考慮因素;另外在行動裝置應(yīng)用上，以智能手機(jī)為例， 像是現(xiàn)在消費(fèi)者對拍照越來越要求，照片的畫素提高，也連帶使得手機(jī)儲存容量須跟著變大，邊緣儲存的需求將跟著變大，因此相關(guān)的嵌入式閃存(EFD)產(chǎn)品性能也隨之提升。

因應(yīng)此一趨勢，像是Western Digital便推出新款iNAND產(chǎn)品系列--iNAND8521/iNAND7550，采用該公司64層3D NAND技術(shù)以及先進(jìn)的UFS與e.MMC接口，提供較佳的數(shù)據(jù)效能與龐大的儲存容量。 用于智能型手機(jī)與輕薄運(yùn)算裝置時，這兩款產(chǎn)品能加速實(shí)現(xiàn)以數(shù)據(jù)為中心的各式應(yīng)用，包括擴(kuò)增實(shí)境(AR)、高解析視訊的擷取、社群媒體體驗(yàn)，以及近期崛起的AI與物聯(lián)網(wǎng)邊緣體驗(yàn)。

Bergey透露，未來行動裝置的發(fā)展趨勢無庸置疑會朝更高性能邁進(jìn)，因?yàn)?G世代到來后，傳輸數(shù)據(jù)越來越快，創(chuàng)新應(yīng)用會愈來愈多，加上AI興起，兩者若相結(jié)合后，對工作負(fù)載的要求也會隨之提升，儲存容量勢將會因而大增。 該公司也會持續(xù)跟手機(jī)業(yè)者密切合作，好針對需求提供合適的產(chǎn)品。

Bergey也指出，因應(yīng)邊緣運(yùn)算發(fā)展，該公司其實(shí)具備很好的戰(zhàn)略優(yōu)勢。 原因在于，WDC具備完整的產(chǎn)品線(從低階產(chǎn)品到高性能產(chǎn)品)，另外，WDC是采用一條龍的生產(chǎn)策略，從晶圓、控制器、韌體和軟件等，都是自行負(fù)責(zé)，因此可以快速的針對市場變化推出產(chǎn)品，或是滿足設(shè)備商客制化需求， 這是WDC在競爭激烈的邊緣運(yùn)算市場中所擁有的優(yōu)勢。

NXP攜手合作伙伴 加速開發(fā)安全邊緣方案

至于NXP，則是從安全著手，攜手生態(tài)系合作伙伴，如新漢、IMAGO、智邦科技、神準(zhǔn)科技等，共同投入邊緣運(yùn)算安全基礎(chǔ)架構(gòu)的部署工作，支持在邊緣進(jìn)行連接的新興AI和機(jī)器學(xué)習(xí)，以及部署于云端的安全邊緣處理。

協(xié)力合作的系統(tǒng)供貨商將以NXP的Layerscape與i.MX應(yīng)用處理器系列為基礎(chǔ)，進(jìn)行產(chǎn)品開發(fā)，以符合需要本機(jī)處理能力與云端聯(lián)機(jī)功能的各種應(yīng)用上。 開發(fā)出的平臺提供運(yùn)算能力、聯(lián)機(jī)功能及儲存容量之間的完善平衡，適合同時在企業(yè)及工業(yè)環(huán)境運(yùn)作。

透過NXP的EdgeScale技術(shù)及Docker與Kubernetes的開放原始碼軟件，可在常見云端架構(gòu)上執(zhí)行各種邊緣應(yīng)用，包括Amazon Web Services(AWS)、Greengrass、Google Cloud IoT、微軟Azure IoT、阿里巴巴及私有云端架構(gòu)。

NXP指出，EdgeScale是包含裝置和云端服務(wù)的套件，透過該產(chǎn)品可以簡化安全運(yùn)算資源在網(wǎng)絡(luò)邊緣的布建;而NXP將會與這些伙伴共同合作，為物聯(lián)網(wǎng)與企業(yè)內(nèi)部部署(On-Premises)的運(yùn)算平臺提供具擴(kuò)展性、安全性， 以及部署方便性，以實(shí)現(xiàn)安全部署與管理。

恩智浦?jǐn)?shù)字網(wǎng)絡(luò)事業(yè)部資深副總裁暨總經(jīng)理Tareq Bustami表示，建立安全的邊緣解決方案對于物聯(lián)網(wǎng)及工業(yè)4.0的成功發(fā)展極為重要，因此，該公司致力于與眾多設(shè)備制造商合作，提供容易使用且支持云端鏈接的安全邊緣運(yùn)算解決方案。 透過合作，該公司將協(xié)助推出更智能、更多功能的邊緣解決方案，加入可進(jìn)行大規(guī)模部署及管理的強(qiáng)大安全功能。

綜上所述，可看出不論是IP商、儲存業(yè)者或是芯片供貨商，皆積極布局邊緣運(yùn)算市場，各自開發(fā)開放平臺與硬件架構(gòu)，期能讓AI走入各種終端裝置中，并且建構(gòu)完善的生態(tài)圈。