手機(jī)QQ“高能舞室”實(shí)現(xiàn)AI

近日，手機(jī)QQ正式推出“高能舞室”功能，該全新功能基于騰訊AI Lab計(jì)算機(jī)視覺(jué)中心獨(dú)家支持的“肢體動(dòng)作追蹤”技術(shù)實(shí)現(xiàn)，并且結(jié)合了Qualcomm驍龍神經(jīng)處理引擎（Snapdragon Neural Processing Engine，以下簡(jiǎn)稱(chēng)SNPE）SDK，將為年輕人社交提供更多個(gè)性化內(nèi)容和用戶(hù)體驗(yàn)。

手機(jī)QQ是國(guó)內(nèi)備受年輕人歡迎、體量最大的移動(dòng)互聯(lián)網(wǎng)社交APP之一。2017年第三季度，QQ在智能移動(dòng)終端的月活數(shù)量高達(dá)6.529億。手機(jī)QQ“高能舞室”功能的實(shí)現(xiàn)是Qualcomm與騰訊在人工智能領(lǐng)域的首次合作，也是SNPE在中國(guó)互聯(lián)網(wǎng)行業(yè)的首個(gè)成功應(yīng)用。雙方的合作實(shí)現(xiàn)了人工智能技術(shù)的入口輕量化，把人工智能支持的領(lǐng)先體驗(yàn)帶到規(guī)模更大、更廣泛的年輕用戶(hù)群體中。

通過(guò)SNPE SDK，該功能可以直接運(yùn)行手機(jī)上相應(yīng)的人工智能神經(jīng)網(wǎng)絡(luò)，而無(wú)需在云端進(jìn)行處理。具體來(lái)說(shuō)，用戶(hù)可以直接根據(jù)屏幕提示動(dòng)作錄制跳舞短視頻，并通過(guò)QQ社交關(guān)系鏈分享互動(dòng)舞蹈視頻。Qualcomm SNPE為高能舞室提供了高性能和高能效的運(yùn)行環(huán)境，將人體姿態(tài)估計(jì)識(shí)別的時(shí)間大大降低，用戶(hù)可以享受更加流暢、有趣的舞蹈體驗(yàn)。

與在云端運(yùn)行的人工智能相比，在終端側(cè)運(yùn)行人工智能算法具有諸多優(yōu)勢(shì)，如即時(shí)響應(yīng)、可靠性提升、隱私保護(hù)增強(qiáng)，以及高效利用網(wǎng)絡(luò)帶寬等。為了讓開(kāi)發(fā)者和OEM廠(chǎng)商能更方便地在終端上利用異構(gòu)計(jì)算，Qualcomm于2016年推出了SNPE，使OEM廠(chǎng)商以及應(yīng)用開(kāi)發(fā)者能在諸如智能手機(jī)、安全攝像頭、汽車(chē)以及無(wú)人機(jī)等搭載驍龍的終端上運(yùn)行它們自己的神經(jīng)網(wǎng)絡(luò)模型，且完全無(wú)須與云端相連，就能提供由深度學(xué)習(xí)驅(qū)動(dòng)的體驗(yàn)，如風(fēng)格轉(zhuǎn)換與濾鏡（增強(qiáng)現(xiàn)實(shí)應(yīng)用）、情景探測(cè)、面部識(shí)別、自然語(yǔ)言理解、物體追蹤與規(guī)避、手勢(shì)和文本識(shí)別等。SNPE適用于驍龍600和800系列移動(dòng)平臺(tái)，可支持通用深度學(xué)習(xí)框架，如Caffe、Caffe2和Tensorflow，并提供對(duì)自定義層的支持。該SDK包括了運(yùn)行時(shí)軟件、庫(kù)、API、離線(xiàn)模型轉(zhuǎn)換工具、示例代碼、文檔，以及調(diào)試與基準(zhǔn)測(cè)試工具。

除了手機(jī)QQ“高能舞室”之外，已有不少開(kāi)發(fā)者利用SNPE支持移動(dòng)人工智能應(yīng)用的案例。例如，F(xiàn)acebook已宣布計(jì)劃將SNPE集成到Facebook應(yīng)用的相機(jī)功能中，以促進(jìn)Caffe2支持的增強(qiáng)現(xiàn)實(shí)（AR）特性實(shí)現(xiàn)。相較于通過(guò)一般的CPU實(shí)現(xiàn)，F(xiàn)acebook可利用SNPE，基于Adreno GPU實(shí)現(xiàn)5倍的性能提升，從而在拍攝照片和直播視頻時(shí)，實(shí)現(xiàn)更流暢、無(wú)縫且逼真的AR特性應(yīng)用。

此外，數(shù)款搭載驍龍移動(dòng)平臺(tái)的移動(dòng)終端也已通過(guò)SNPE實(shí)現(xiàn)了更先進(jìn)的終端側(cè)人工智能體驗(yàn)。例如，OPPO R11s中利用了商湯科技小型化的創(chuàng)新算法模型與SNPE的完美協(xié)作，充分發(fā)揮驍龍660移動(dòng)平臺(tái)GPU、DSP的運(yùn)算能力，大幅提升了R11s上人工智能應(yīng)用運(yùn)行時(shí)的處理速度，同時(shí)降低功耗。以?xún)?yōu)化拍照體驗(yàn)為例，在非聯(lián)網(wǎng)狀態(tài)下，用戶(hù)可以為照片實(shí)時(shí)增加人像模式和背景虛化等效果。同樣，得益于驍龍835移動(dòng)平臺(tái)中所支持的SNPE，一加5T可智能匹配人臉的128個(gè)特征，在短短0.4秒內(nèi)完成面部掃描并進(jìn)行人臉識(shí)別，幫助用戶(hù)方便、迅速地解鎖手機(jī)。

Qualcomm于今年12月初剛剛推出的驍龍845是Qualcomm的第三代人工智能移動(dòng)平臺(tái)。與前代系統(tǒng)級(jí)芯片（SoC）相比，驍龍845帶來(lái)了近三倍的人工智能整體性能提升。其中的SNPE SDK除了已支持Google TensorFlow和Facebook Caffe / Caffe2框架之外，還增添了對(duì)Tensorflow Lite和新的ONNX的支持，可幫助開(kāi)發(fā)者輕松使用他們所選擇的框架，包括Caffe2、CNTK和MxNet。