商湯研究院院長(zhǎng)王曉剛：商湯算法服務(wù)手機(jī)超過4億臺(tái)，AI與硬件深度結(jié)合引領(lǐng)體驗(yàn)升級(jí)

回顧2018，人工智能正在成為手機(jī)發(fā)展的“新引擎”。2018年商湯在手機(jī)業(yè)務(wù)碩果累累，“3D人臉識(shí)別、人臉3D重建及微整形、人臉解鎖、AI智慧雙攝、超分辨率、3D人體實(shí)時(shí)追蹤、3D虛化、AI人像光效、Animoji、美體、SLAM、AR相機(jī)、AR導(dǎo)航、AR測(cè)量”等諸多技術(shù)在OPPO、vivo、小米、華為、魅族、OnePlus等手機(jī)產(chǎn)品中紛紛落地，廣受用戶歡迎。商湯手機(jī)的AI功能覆蓋了全部的頭部客戶和80%的長(zhǎng)尾客戶。

那么，商湯為何能夠獲得手機(jī)廠商的高度認(rèn)可？這兩年手機(jī)硬件與AI軟件的角色又有哪些轉(zhuǎn)變？商湯從創(chuàng)立之初就選擇并堅(jiān)持產(chǎn)學(xué)研一體化模式，根本原因是什么？如何培養(yǎng)和管理一支富有創(chuàng)造力的人工智能團(tuán)隊(duì)？2019年的AI手機(jī)行業(yè)又有哪些趨勢(shì)？為解答這些疑問，近日，商湯君與商湯科技聯(lián)合創(chuàng)始人、研究院院長(zhǎng)王曉剛教授進(jìn)行了一次深度對(duì)話。

王曉剛教授是商湯科技聯(lián)合創(chuàng)始人、研究院院長(zhǎng)、杰出科學(xué)家，同時(shí)亦為香港中文大學(xué)電子工程系副教授。王曉剛教授畢業(yè)于中國(guó)科技大學(xué)少年班，于2001年獲得電子工程與信息科學(xué)學(xué)士學(xué)位;2004年獲得香港中文大學(xué)信息工程碩士學(xué)位;2009年獲得麻省理工學(xué)院人工智能實(shí)驗(yàn)室獲得計(jì)算機(jī)博士學(xué)位。

王曉剛教授的研究領(lǐng)域包括計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)，他曾在頂級(jí)的國(guó)際期刊和會(huì)議發(fā)表超過200篇論文，其論文在GoogleScholar上的引用次數(shù)超過17000次。他還是國(guó)際頂級(jí)計(jì)算機(jī)視覺會(huì)議CVPR 2017， ICCV 2011，ICCV 2015， ICCV 2017， ECCV 2014， ECCV2016， ACCV 2014和ACCV 2015的領(lǐng)域主席。

總結(jié)2018：優(yōu)異成績(jī)單源自積累、體系和格局

Q：2018年商湯AI技術(shù)在手機(jī)上有很多應(yīng)用，包括AI雙攝虛化、人臉3D重建、超分辨率、3D人體實(shí)時(shí)追蹤等等，并與OPPO、vivo、小米、華為等手機(jī)廠商都有合作，您覺得商湯在手機(jī)業(yè)務(wù)獲得優(yōu)異成績(jī)的原因有哪些？

A（王曉剛）：首先非常感謝我們的客戶和產(chǎn)業(yè)鏈的合作伙伴一直以來對(duì)商湯的信任與支持。我覺得商湯能夠獲得客戶認(rèn)可有幾個(gè)因素，第一是積累，商湯是比較早地把AI帶到手機(jī)，我們有比較深厚的積累。比如2014年商湯就在學(xué)術(shù)界首次提出了基于深度學(xué)習(xí)的超分辨率技術(shù)，并且擁有最早一批相關(guān)專利。經(jīng)過四年打磨，2018年終于在vivo X23手機(jī)上落地。比如體感游戲中的人體關(guān)鍵點(diǎn)技術(shù)我們也已經(jīng)有了數(shù)年的積累。再如AR的SLAM，我們和浙江大學(xué)-商湯三維視覺聯(lián)合實(shí)驗(yàn)室有十幾年的積累。深厚的積累是源源不斷創(chuàng)新的保障。

應(yīng)用于vivo X23幻彩版的SensePhoto超分辨率技術(shù)

其次是體系。比如SLAM，我們從視覺SLAM到基于雙攝的SLAM和基于多傳感器融合的SLAM，是一整套的SLAM技術(shù)體系。在SLAM技術(shù)基礎(chǔ)上，我們還有導(dǎo)航、重建、AR測(cè)量、AR 相機(jī)等多種應(yīng)用。完整的技術(shù)和產(chǎn)品體系可以更好地滿足客戶需求，為客戶創(chuàng)造價(jià)值。未來，這些手機(jī)上打磨的技術(shù)還可以應(yīng)用于互聯(lián)網(wǎng)和IOT，構(gòu)造一個(gè)更大的AI生態(tài)。

另外，這歸功于商湯的格局，我們看問題著眼未來。比如商湯SenseAR平臺(tái)是對(duì)標(biāo)谷歌的ARCore，蘋果的ARKit，還要體現(xiàn)出差異化。很多人覺得商湯難以和國(guó)際巨頭抗衡，但商湯的目標(biāo)是要在手機(jī)上做長(zhǎng)遠(yuǎn)的規(guī)劃，這就要從最基礎(chǔ)夯實(shí)我們的技術(shù)。如今商湯SenseAR平臺(tái)支撐了非常多的應(yīng)用，將來還會(huì)更多。

OPPO發(fā)布與商湯合力打造的OPPO AR開發(fā)者平臺(tái)

Q：關(guān)于人體識(shí)別，商湯其實(shí)在安防領(lǐng)域也有應(yīng)用，那么在安防領(lǐng)域的應(yīng)用和手機(jī)領(lǐng)域運(yùn)用有什么不同嗎？

A：手機(jī)上對(duì)準(zhǔn)確性和實(shí)時(shí)性的要求會(huì)更高，因?yàn)樗苯雨P(guān)系到用戶的體驗(yàn)。比如我們?cè)谑謾C(jī)上做的3D體感游戲是通過肢體動(dòng)作控制游戲里面的人物，這些控制必須非常準(zhǔn)確。

SensePosture3D人體骨架檢測(cè)算法正在為OPPO R17 Pro體感游戲帶來支持，圖片源自ColorOS官方社區(qū)

安防領(lǐng)域主要是識(shí)別，但手機(jī)除了識(shí)別，還有重構(gòu)、合成，比如美體中的應(yīng)用，如果對(duì)人體的關(guān)鍵點(diǎn)定位和人體分割出現(xiàn)微小的偏差，就會(huì)出現(xiàn)背景和人物的扭曲。從這個(gè)意義上講，手機(jī)對(duì)技術(shù)的要求更苛刻、更嚴(yán)格。

AI角色轉(zhuǎn)變，從彌補(bǔ)硬件不足到硬件專門為AI設(shè)計(jì)

Q：近兩年手機(jī)AI軟件已經(jīng)逐漸影響硬件研發(fā)方向，您怎么看這種轉(zhuǎn)變？

A：手機(jī)硬件和AI的關(guān)系有三個(gè)階段：第一個(gè)階段是AI彌補(bǔ)硬件的不足;第二個(gè)階段是硬件推動(dòng)AI的創(chuàng)新;第三個(gè)階段是部分硬件專門為AI設(shè)計(jì)，AI和硬件聯(lián)合創(chuàng)新。

一開始AI是彌補(bǔ)硬件的不足，比如由于物理?xiàng)l件的限制手機(jī)拍不出單反的效果，我們可以嘗試通過AI的方式實(shí)現(xiàn)某些功能。再如手機(jī)用兩個(gè)攝像頭估計(jì)深度，然后做人像和人體分割。2016年商湯第一個(gè)在OPPOR9s上通過AI算法實(shí)現(xiàn)單個(gè)攝像頭的人像分割，從而進(jìn)行背景虛化，彌補(bǔ)了硬件的不足，降低了成本。

隨之硬件又推動(dòng)了AI的創(chuàng)新，比如手機(jī)上隨著深度攝像頭的出現(xiàn)，可以做3D人臉解鎖、3D人臉重建、AR測(cè)量和一系列的體感游戲。另外，NPU最初的出現(xiàn)把原來手機(jī)芯片對(duì)神經(jīng)網(wǎng)絡(luò)的處理能力提升了很多倍，為AI提供了更多的算力。

SenseMatrix AR測(cè)量幫助OPPO R17 Pro打造AR尺子功能

如今，一些硬件是專門為AI設(shè)計(jì)的，AI和硬件聯(lián)合創(chuàng)新。新一代的3D攝像頭和NPU（嵌入式神經(jīng)網(wǎng)絡(luò)處理器）這些硬件的創(chuàng)新就是圍繞AI，需要和AI的算法融合在一起為消費(fèi)者帶來價(jià)值，這些變化大大促進(jìn)了AI技術(shù)提供商和產(chǎn)業(yè)鏈合作伙伴之間更緊密的配合，并提升服務(wù)客戶的能力。

去年12月，高通發(fā)布了全球首款商用5G移動(dòng)平臺(tái)——驍龍855，擁有強(qiáng)大的AI能力，其中就包括商湯的SenseID 3D ToF人臉認(rèn)證、SensePhoto AI超分辨率、SensePhoto AI夜景和SensePhoto AI雙攝虛化等多項(xiàng)創(chuàng)新技術(shù)。

同樣于去年12月發(fā)布的聯(lián)發(fā)科新一代移動(dòng)平臺(tái)Helio P90擁有旗艦級(jí)AI算力，也搭載了商湯SenseColor人像留色技術(shù)，可以實(shí)時(shí)識(shí)別、分割出所拍攝人物輪廓與外在環(huán)境邊界。

作為人工智能的重要推動(dòng)者，未來商湯科技的創(chuàng)新將更進(jìn)一步，與合作伙伴一起推動(dòng)整個(gè)行業(yè)的發(fā)展，更好的服務(wù)廣大用戶。

切忌涸澤而漁，產(chǎn)學(xué)研一體化是創(chuàng)新的源泉

Q：商湯一直堅(jiān)持產(chǎn)學(xué)研一體化的模式，它的優(yōu)勢(shì)具體體現(xiàn)在哪些方面？

A：產(chǎn)學(xué)研一體化是商湯創(chuàng)新的源泉。一項(xiàng)技術(shù)應(yīng)用到手機(jī)上可能是3到6個(gè)月，但這項(xiàng)技術(shù)的積累可能已經(jīng)花了幾年時(shí)間。

現(xiàn)在很多公司邀請(qǐng)大學(xué)的AI教授加入工業(yè)界，一段時(shí)間后他們會(huì)把之前積累的學(xué)術(shù)成果轉(zhuǎn)化為落地的技術(shù)，然后工業(yè)界馬上會(huì)問下一個(gè)新技術(shù)是什么？工業(yè)界對(duì)AI的需求是非常迫切的。一些教授進(jìn)入工業(yè)界后就失去了繼續(xù)創(chuàng)造的源泉，他們需要持續(xù)培養(yǎng)學(xué)生，才能夠有一個(gè)土壤提供源源不斷的創(chuàng)新。如果切斷了這樣的源泉就會(huì)產(chǎn)生涸澤而漁的結(jié)果。產(chǎn)學(xué)研一體化需要不斷汲取各種各樣的新技術(shù)來刺激它，推進(jìn)它，僅通過商湯一家公司是很難完成的，要建立學(xué)術(shù)界和工業(yè)界共贏的生態(tài)。

商湯科技在世界人工智能大會(huì)上聯(lián)合15所高校發(fā)起“全球高校人工智能學(xué)術(shù)聯(lián)盟”

Q：產(chǎn)對(duì)研有沒有反過來的促進(jìn)？

A：有的，我們從實(shí)驗(yàn)室出來的東西大多是一個(gè)雛形，真正應(yīng)用到手機(jī)里面還要經(jīng)過深度的打磨，經(jīng)過手機(jī)廠商打磨之后會(huì)變得非常強(qiáng)大，它會(huì)再次返回到學(xué)術(shù)端。例如商湯SenseAR平臺(tái)就是從實(shí)驗(yàn)室出來并經(jīng)歷了深度打磨的過程，它不但會(huì)開放給開發(fā)者，其中一些模塊也會(huì)開放給我們的學(xué)術(shù)聯(lián)盟。我們的學(xué)術(shù)聯(lián)盟相當(dāng)于站在SenseAR這個(gè)巨人的肩膀上再往前走。等他們有一些成果的時(shí)候會(huì)貢獻(xiàn)到SenseAR的一些模塊中，使得這個(gè)平臺(tái)得以持續(xù)提升。

另外，產(chǎn)也會(huì)對(duì)研提供一些新的研究課題，比如3D技術(shù)的研發(fā)，手機(jī)上3D傳感器的出現(xiàn)必然帶來3D數(shù)據(jù)的極大豐富，原來互聯(lián)網(wǎng)圖像和視頻數(shù)據(jù)以2D為主，有了海量的3D數(shù)據(jù)，就可以做更多新的研究課題。

Q：如果未來3D數(shù)據(jù)大量涌現(xiàn)可能又會(huì)衍生出新的、不一樣的生態(tài)。

A：對(duì)，這會(huì)刺激更多的研究創(chuàng)新，創(chuàng)新不能是憑空的，一定要有土壤，產(chǎn)業(yè)界可以給他們提供這樣的土壤。

一個(gè)團(tuán)隊(duì)一定要經(jīng)歷“涅磐”，才能夠成長(zhǎng)

Q：您在培養(yǎng)團(tuán)隊(duì)方面有沒有一些心得和體會(huì)可以分享一下？

A：從學(xué)術(shù)研究到產(chǎn)業(yè)落地有一個(gè)比較大的距離，商湯的一些研究員是從大學(xué)實(shí)驗(yàn)室出來的。我們團(tuán)隊(duì)一定要經(jīng)過一個(gè)“鳳凰涅磐”的過程才能走向成熟。很多項(xiàng)目我們是覺得已經(jīng)不行了，快絕望了，最后一口氣堅(jiān)持下來，取得了成功。

我們手機(jī)上一項(xiàng)技術(shù)的落地像是“十月懷胎”，到最后關(guān)頭是非常痛苦的過程。落地之后這個(gè)團(tuán)隊(duì)就成熟了，下一次他們就知道怎么經(jīng)歷這樣的過程，就可以承擔(dān)更重大的責(zé)任。

另外，一項(xiàng)技術(shù)開始的時(shí)候可能有比較強(qiáng)的新鮮感，之后會(huì)遇到很多細(xì)節(jié)的問題，面對(duì)客戶提出的各種各樣需求，而這時(shí)候團(tuán)隊(duì)的新鮮感已經(jīng)消失了。在這種情況下如何繼續(xù)保持團(tuán)隊(duì)?wèi)?zhàn)斗力至關(guān)重要。

2018年初我們給手機(jī)團(tuán)隊(duì)提的要求第一是敬畏客戶，第二是追求極致。我們需要先認(rèn)真傾聽客戶的需求，再在產(chǎn)品上追求極致體驗(yàn)，每一個(gè)邊邊角角，每一個(gè)瑕疵都要解決?，F(xiàn)在用了商湯算法的手機(jī)超過4億臺(tái)，商湯的產(chǎn)品和技術(shù)最終要走進(jìn)千家萬戶，要給大眾一個(gè)最極致的體驗(yàn)。

商湯成長(zhǎng)很快，原來商湯好比是一輛自行車，如果沒有剎車（質(zhì)量控制）頂多把自己摔得鼻青臉腫;現(xiàn)在是跑車，如果沒有剎車破壞力會(huì)非常強(qiáng)。當(dāng)商湯給市場(chǎng)提供越多價(jià)值的時(shí)候，我們的責(zé)任就越大，這就是我們?yōu)槭裁匆次房蛻簦非髽O致的體驗(yàn)。

展望2019：從2D到3D，5G帶來更多視頻處理需求

Q：您怎么看2019年AI手機(jī)發(fā)展趨勢(shì)？

A：2019年有幾個(gè)趨勢(shì)，NPU的出現(xiàn)會(huì)充分釋放AI算力的優(yōu)勢(shì)，發(fā)揮AI的潛力;隨著5G的落地，云和端會(huì)更緊密的結(jié)合;我們正在快速邁向3D的新時(shí)代，擁抱海量3D數(shù)據(jù)給生活帶來的巨大變化;隨著AI和AR平臺(tái)能力的開放，將進(jìn)一步賦能開發(fā)者，推動(dòng)整個(gè)生態(tài)的進(jìn)步;另外多傳感器融合、手機(jī)與IoT的結(jié)合、智能語音助手都會(huì)有更多云+端的應(yīng)用。

Q：AI和5G有哪些融合嗎？5G對(duì)手機(jī)行業(yè)會(huì)有哪些影響？

A：5G可以充分運(yùn)用云上的算力，它有更少的延時(shí)和更大的帶寬。我們目前看到手機(jī)上的AI功能是對(duì)圖像處理比較多，有了5G之后會(huì)有更多對(duì)視頻的處理和對(duì)3D數(shù)據(jù)的處理。

Q：最近艾瑞咨詢聯(lián)合商湯發(fā)布了《2018年中國(guó)人工智能手機(jī)行業(yè)研究報(bào)告》，艾瑞通過調(diào)研發(fā)現(xiàn)，中國(guó)手機(jī)用戶下次更換手機(jī)時(shí)95.9%都更愿意選擇AI手機(jī)。您覺得AI手機(jī)對(duì)消費(fèi)者的吸引力為何會(huì)這么大？

A ：很欣喜看到消費(fèi)者對(duì)AI價(jià)值的認(rèn)可，這是手機(jī)廠商、硬件廠商和AI技術(shù)提供商共同努力的結(jié)果。AI手機(jī)為用戶帶來了更好的體驗(yàn)和諸多新的應(yīng)用，例如超分辨率、人臉解鎖和3D應(yīng)用，這些AI軟件的創(chuàng)新給人們帶來很多的驚喜。其次AI技術(shù)提供商和手機(jī)廠商的合作也在逐漸深入，能夠使AI更好地服務(wù)手機(jī)客戶，進(jìn)而使整個(gè)用戶的體驗(yàn)得到提升，這是最根本的。另外一個(gè)就是創(chuàng)新的速度，AI手機(jī)迭代非?？臁?/p>

用AI為用戶創(chuàng)造價(jià)值、為開發(fā)者賦能是商湯的使命，相信在我們客戶以及合作伙伴的共同努力下，2019年的AI手機(jī)一定會(huì)有更加豐富多彩的體驗(yàn)。