AR/VR落地突破 芯原聯(lián)手Khronos提供更強技術(shù)支持

芯原日前聯(lián)手Khronos舉辦了一場技術(shù)研討會，這場線下結(jié)合線上的分享活動，給業(yè)界帶來了很多耳目一新的技術(shù)信息。在活動中，來自全球的芯原與Khronos的技術(shù)專家介紹了最新的助力AR/VR體驗的技術(shù)，還邀請了眾多位來自行業(yè)中如移動、華為、英特爾、騰訊、阿里、日本AX和成都彌知科技等企業(yè)的專家，分享了基于AR/VR技術(shù)的落地應(yīng)用，讓大家看到了AR/VR的前沿應(yīng)用和廣闊市場?；顒佑蒏hronos工業(yè)協(xié)會中國區(qū)總監(jiān)傅世雄 (Dennis Fu)主持。電子發(fā)燒友記者也到應(yīng)邀參與了會議，對本次會議活動，做了專門的報道。

圖：Khronos工業(yè)協(xié)會中國區(qū)總監(jiān) 傅世雄 (Dennis Fu)主持本次技術(shù)研討會

AR/VR的應(yīng)用，在之前谷歌、微軟和英特爾、HTC等大廠商的推動下，曾經(jīng)取得了很大的進展，包括VR眼鏡頭盔、VR游戲、AR游戲、VR影視等，其應(yīng)用也不斷擴展到游戲影視娛樂、商業(yè)購物、遠程旅游體驗、遠程教育等方面。但是對于技術(shù)公司來說，操作延時、顯示不夠細膩等技術(shù)限制，讓最終落地沒有找到能夠用戶足夠粘性的項目，或者是足夠的商業(yè)回報等，感覺這個行業(yè)還是處于不溫不火之中。

Khronos工業(yè)協(xié)會主席(President)，英偉達生態(tài)系統(tǒng)開發(fā)副總裁，OpenCL工作組主席 Neil Trevett也在美國加州現(xiàn)場連線，作了Khronos組織的背景介紹，并分享了視覺處理與推廣方面的Khronos API接口技術(shù)的介紹（OpenCL, OpenVX, SYCL與Vulkan）。

圖：Khronos工業(yè)協(xié)會主席 Neil Trevett在加州連續(xù)會場

芯原商業(yè)運營高級副總裁汪洋介紹，芯原公司在2004年加入Khronos，中國是芯原和HW兩家是董事會成員。芯原目前90%研發(fā)在中國，一半以上的營收來自境外。作為全球領(lǐng)先的IP與IC設(shè)計服務(wù)供應(yīng)商，芯片主推SiPaas（ Silicon Platform as a Service ）即設(shè)計平臺即服務(wù)業(yè)務(wù)模式，其客戶不僅是IC設(shè)計(Fabless）公司，更是將技術(shù)服務(wù)，推廣至更下游的互聯(lián)網(wǎng)企業(yè)和技術(shù)開發(fā)者。

圖：芯原商業(yè)運營高級副總裁汪洋在介紹芯原的一站式設(shè)計服務(wù)

隨著SoC的設(shè)計進入到7納米，其設(shè)計成本提升至了2.22億美元。成熟的設(shè)計服務(wù)對于高端IC設(shè)計業(yè)者越來越重要。這也是芯原能夠在科創(chuàng)板成本上市的最重要的原因之一。

芯原在NPU、GPU、ISP、Video、聲音語音、顯示等方面的全面的IP產(chǎn)品供貨能力，讓他可以服務(wù)到從可穿戴、智能手機、智能家居、到AIOT、到汽車、服務(wù)器等廣泛的客戶群體。

芯原的VPU IP可以支持到4K/8K的視頻流解碼，芯原也是谷歌WebM視頻項目亞洲的第一個硬件合作伙伴。芯片的視頻編解碼SoC可以服務(wù) 云端處理需求。汪洋介紹，相比CPU和FPGA的方案，基于芯原IP的ASCI方案，其視頻編解碼能力提升了6倍，功耗下降到了原來的13倍，且芯片體積也大為減小。在同樣大小的機箱空間內(nèi)，邊緣端計算處理能力提升了36倍，功耗下降 50%。視頻處理ASIC還能支持到H.264. VP8, H.264, VP9, AV1, SVAC等。

汪洋指出，中國市場的視頻云計算市場每年的復(fù)合增長達到 了40%，2020年視頻云市場是70億美元，到2024年將達到 244億美元，復(fù)合增長率達40%。

在AI的IP方面，芯片的NPU(嵌入式神經(jīng)網(wǎng)絡(luò)處理器)IP已經(jīng)在全球有40家公司取得授權(quán)并量產(chǎn)，量產(chǎn)SoC超過60顆，應(yīng)用領(lǐng)域也非常廣泛。

車用GPU IP，芯原也處于技術(shù)領(lǐng)導(dǎo)者位置。

ISP IP，芯原在2014年收購了ArcSoft團隊之后，于2017年推出 了ISP IP，其優(yōu)勢在于HDR。

文章篇幅所限不全細列。上面講到了視頻的解碼能力、功耗、顯示等多方面的IP創(chuàng)新，他們都可以對AR和VR開發(fā)有很好的支持。但對于一個好的AR和VR體驗來說，技術(shù)的瓶頸還要突破數(shù)據(jù)傳輸中的延時。芯原的高速數(shù)據(jù)傳輸IP這一塊與Alphawave聯(lián)手擴大合作，服務(wù)中國市場。

上圖顯示出，112G和224G高速傳輸接口市場需求正在快速增長。

目前高速傳輸技術(shù)的領(lǐng)域者是Alphawave，他是全球首家7納米以下的硅驗證IP供應(yīng)商。

芯原取得了Alphawave在中國市場的IP獨家經(jīng)銷權(quán)。

在當天的技術(shù)研討會期間，芯原機器學習軟件副總裁查凱南就芯原神經(jīng)網(wǎng)絡(luò)處理器，芯原IP解決方案副總裁張慧明對芯原圖形處理器，芯原多媒體SoC平臺首席工程師妙維對芯原AR/VR 低延時低功耗像素處理作了詳細的介紹與分享。

華為消費者BG AR/VR產(chǎn)品技術(shù)總監(jiān)鄒文進演講中介紹了利用AR技術(shù)做產(chǎn)品線上發(fā)布會的演示，其AR引擎的精度比Apple和谷歌還要高30%。他表示后面還會跟國內(nèi)的手機廠商、汽車廠商合作，利用AR技術(shù)做商業(yè)推廣的合作。

圖：華為消費者BG AR/VR產(chǎn)品技術(shù)總監(jiān) 鄒文進

彌知科技創(chuàng)始人和CEO張?zhí)旆騍teven Zhang做了AR算法場景與渲染引擎應(yīng)用分享。疫情期間線上直播購物中，AR技術(shù)助力電商大大提升了購物的體驗。

圖：成都彌知科技創(chuàng)始人和CEO 張?zhí)旆?Steven Zhang

張?zhí)旆蚪榻B，其公司的WebAR做內(nèi)容的時候，不需要技術(shù)來學編程，只需要選擇所需要的模塊來做商業(yè)落地的項目，做普通AR消費者需要的場景。都是剛需，都是源自市場的反饋。可以一鍵發(fā)布到微信小程序上，目前超過了一千個程序接入了。通過3D的互動，形成了各大自落地的案例，大多小程序開發(fā)者都有很好的收益。

“例如，AR式美瞳，在國內(nèi)已經(jīng)很普遍了。但是在海外沒有微信和淘寶，只有FB、TW，所以是基于Web端的試穿試戴的場景。珠寶戒指試戴，增進了消費者與品牌的距離，促進了購買率。試鞋的場景，在任何地方可以來試鞋，可以體驗鞋子的樣子，比較潮流的款式，也適合自己穿，促進了購買率。還有非常多的案例。例如京東的人臉迷宮，去給品牌做傳播如官方號的關(guān)注、轉(zhuǎn)發(fā)等效果的提升?！睆?zhí)旆蛘f。

圖：中移動研究院高級技術(shù)人員李可

中移動研究院高級技術(shù)人員李可做了云XR標準化及在教育領(lǐng)域內(nèi)的應(yīng)用的分享。中移動的云XR是疫情期間云課堂云教育落地做得非常好的一家公司。在取得出色的成績之后，今年中移動還主導(dǎo)GTI的發(fā)展產(chǎn)業(yè)，推動相關(guān)AR/VR云教育的標準的制定。

李可說，首先是云渲染 60-70毫秒的時延，對于用戶的動作的預(yù)測是很重要的。OpenXR現(xiàn)在在時延這一塊還沒有明確的定義，我們希望去推動成為標準立項。第二步是云渲染能力和業(yè)務(wù)接口布置的問題。第三部是云能力和云的實際處理資源Micro Service，未來第三方的云能力，可以作為一個PAAS平臺，布置到各個云服務(wù)商的平臺中去。對云渲染感興趣的企業(yè)，可以一起參與進來。

ax株式會社數(shù)據(jù)科學部AI工程師胡筠分享了如何用用Vulkan快速搭建AI框架。英特爾AR/VR 首席軟件架構(gòu)師 OpenXR工作小組主席 Brent Insko在線分享了OpenXR 的技術(shù)更新。阿里巴巴淘系技術(shù)部端智能團隊 高級技術(shù)專家姜霄棠介紹了MNN的異構(gòu)計算解決方案幾何計算。騰訊科技高級研究員倪輝分享了ncnn-使用Vulkan的通用神經(jīng)網(wǎng)絡(luò)推理。

圖：騰訊科技高級研究員倪輝

對于技術(shù)專家來說，這是一個難得的頂級高手之間的分享會議。