近日,奧比中光在VALSE 2021(視覺(jué)與學(xué)習(xí)青年學(xué)者研討會(huì))上首次展示了公司自研的3D智能摳圖算法。該算法專(zhuān)門(mén)為直播帶貨、視頻會(huì)議等場(chǎng)景研發(fā),可清晰地?fù)溉‰s亂背景下的3D人像與物品,吸引了眾多青年學(xué)者與學(xué)子駐足交流。
奧比中光研究院算法團(tuán)隊(duì)負(fù)責(zé)人錢(qián)貝貝博士VALSE 2021演講時(shí),為聽(tīng)眾分享3D視覺(jué)從“感知”到“認(rèn)知”的基本原理,并介紹了奧比中光在3D視覺(jué)算法方面的最新研發(fā)突破。同臺(tái)演講的企業(yè)還包括百度、騰訊優(yōu)圖、美團(tuán)、格靈深瞳、海康威視等。
3D智能摳圖算法首次亮相,可摳取雜亂背景中的人像與物品
奧比中光最新研發(fā)的3D智能摳圖算法實(shí)現(xiàn)了基于背景建模的輕量化前景摳圖,能夠?qū)崟r(shí)摳取雜亂背景中的3D人像及物品,彌補(bǔ)了諸多2D摳圖的缺陷。另外,3D智能摳圖不限類(lèi)別,并可自定義摳圖距離,過(guò)濾掉背景中不相關(guān)的人物,從而保護(hù)用戶(hù)隱私。
錢(qián)貝貝博士在演講中介紹,奧比中光通過(guò)背景+人圖軟分割的方法,設(shè)計(jì)了輕量化的Stage Block網(wǎng)絡(luò)框架,并基于大量數(shù)據(jù)訓(xùn)練,實(shí)現(xiàn)了人、物與背景的精確分割,并可根據(jù)不同需求平衡摳圖的精度與速度。
圖注:奧比中光研究院算法團(tuán)隊(duì)負(fù)責(zé)人錢(qián)貝貝博士在VALSE 2021發(fā)表演講。
3D智能摳圖算法有何應(yīng)用場(chǎng)景?據(jù)了解,奧比中光這一算法專(zhuān)為直播帶貨、視頻會(huì)議等場(chǎng)景研發(fā),還可應(yīng)用在游戲渲染、場(chǎng)景理解、自動(dòng)駕駛、目標(biāo)跟蹤、混合顯示、電影制作等多元領(lǐng)域。
以近年來(lái)爆火的直播帶貨為例,主播往往需要將普通的辦公室、居家背景替換成華麗的直播間,借此吸引粉絲;在直播過(guò)程中,主播要在眾多品類(lèi)的商品中向觀(guān)眾展示主推產(chǎn)品。傳統(tǒng)的2D摳圖算法在應(yīng)對(duì)這一場(chǎng)景的需求時(shí),常常會(huì)出現(xiàn)無(wú)法摳取物品、細(xì)節(jié)丟失、多摳背景中的無(wú)關(guān)人物等問(wèn)題。
圖注:現(xiàn)有在線(xiàn)視頻會(huì)議軟件中的2D摳圖和奧比中光3D摳圖效果對(duì)比。
奧比中光的3D智能摳圖則能較好地解決以上問(wèn)題。據(jù)悉,3D摳圖的基本思想就在于利用三維空間的距離信息來(lái)區(qū)分需要摳取的前景(如主播、商品、參會(huì)人員)與不需要被摳出的背景(如墻面、雜物與不相干人物)。高精度3D數(shù)據(jù)的加持為算法提供了先驗(yàn)信息,有利于將細(xì)節(jié)處理得更好,同時(shí)能給完成相似紋理下的高難度摳圖,并且能通過(guò)自定義距離過(guò)濾背景人物,保護(hù)隱私。
3D視覺(jué)感知技術(shù)加速迭代,賦能多元應(yīng)用開(kāi)發(fā)
奧比中光自研的3D智能摳圖算法,正是公司在3D視覺(jué)感知技術(shù)領(lǐng)域全面布局、全棧縱深的又一次成果展示。
據(jù)悉,奧比中光作為一家3D視覺(jué)感知整體技術(shù)方案提供商,在技術(shù)縱向上對(duì)包括深度引擎芯片、感光芯片、專(zhuān)用光學(xué)系統(tǒng)等在內(nèi)的核心底層技術(shù)及SDK、行業(yè)應(yīng)用算法等全鏈路技術(shù)進(jìn)行全棧式自主研發(fā),并在技術(shù)橫向上對(duì)結(jié)構(gòu)光、iToF、雙目、dToF、Lidar、工業(yè)三維測(cè)量進(jìn)行全領(lǐng)域布局。
圖注:觀(guān)眾在奧比中光展位上觀(guān)看3D智能摳圖算法演示。
奧比中光此次推出的3D智能摳圖算法,很大程度上依托于公司此前在3D視覺(jué)感知技術(shù)上的積淀。如要使得算法更好地?fù)溉∪讼?、物品,就需要在輸入環(huán)節(jié)保證3D數(shù)據(jù)的精確度,而奧比中光研發(fā)的一系列3D攝像頭能夠?yàn)橹峁┯布?jí)支撐。
同時(shí),奧比中光所布局的幾種3D視覺(jué)感知技術(shù)在底層原理上具有共通性,這使得算法研發(fā)過(guò)程中可以借鑒原有技術(shù)的成熟模型,在此基礎(chǔ)上迭代創(chuàng)新,實(shí)現(xiàn)更優(yōu)的性能。
基于從感知到認(rèn)知全鏈路的技術(shù),奧比中光得以賦能智能化行業(yè)向3D化升級(jí)。奧比中光近期展出的FemtoiToF相機(jī)、3D視覺(jué)機(jī)器人開(kāi)發(fā)套件等產(chǎn)品,可助力3D視覺(jué)行業(yè)的眾多專(zhuān)業(yè)人才開(kāi)發(fā)各行各類(lèi)3D應(yīng)用,促進(jìn)3D視覺(jué)行業(yè)加速發(fā)展。
fqj
-
3D
+關(guān)注
關(guān)注
9文章
2836瀏覽量
107004 -
視覺(jué)感知
+關(guān)注
關(guān)注
0文章
42瀏覽量
3170
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論