阿里研發(fā)全新3D AI算法，2D圖片搜出3D模型

AI技術(shù)的研究正在從2D走向更高難度的3D。12月3日，記者獲悉，阿里技術(shù)團(tuán)隊研發(fā)了全新3D AI算法，可基于2D圖片精準(zhǔn)搜索出相應(yīng)的3D模型，準(zhǔn)確率大幅提升10%，可降低3D打印、VR看房、場景導(dǎo)購等領(lǐng)域的門檻。該研究成果已被AI頂會NeurIPS 2020收錄。

盡管3D打印、VR等應(yīng)用場景逐漸成熟，但以3D搜索為代表的3D智能技術(shù)依舊處于早期研究階段。例如，受限于2D圖片顏色、紋理信息和3D模型形狀信息之間的差異，傳統(tǒng)AI方法模型匹配的準(zhǔn)確率較低。過去幾年，包括卡耐基梅隆大學(xué)、MIT、斯坦福大學(xué)等頂級機構(gòu)都紛紛投入該領(lǐng)域的研究。

（阿里3D AI算法可基于2D圖片，從海量數(shù)據(jù)集中精準(zhǔn)找到匹配的3D模型）

國際AI頂會NeurIPS 2020官方顯示，阿里技術(shù)團(tuán)隊率先提出了3D搜索的全新方法，即讓AI先學(xué)習(xí)大量復(fù)雜2D圖片樣本，從而弱化紋理等干擾信息，使AI網(wǎng)絡(luò)更聚焦于幾何細(xì)節(jié)的學(xué)習(xí)，從而讓AI更好地理解2D圖片及3D模型之間的差異。

實驗結(jié)果顯示，訓(xùn)練完成后的算法模型能更高效地和3D模型數(shù)據(jù)集進(jìn)行匹配，在不同數(shù)據(jù)集上的準(zhǔn)確率提高約10%，例如用一張家具照片，可直接找到該家具的3D模型。

該論文作者、阿里淘系技術(shù)算法專家付歡表示，“3D搜索和3D重建、3D顯示都是3D領(lǐng)域基礎(chǔ)技術(shù)， 未來，隨著算法和3D數(shù)據(jù)集的不斷強大，通過搜索引擎可以搜索出萬物的3D模型。”

據(jù)悉，阿里技術(shù)團(tuán)隊在3D重建、3D搜索等技術(shù)領(lǐng)域已實現(xiàn)多項突破，相關(guān)技術(shù)已應(yīng)用在淘寶3D購、躺平設(shè)計家等場景中。今年3月，阿里巴巴與多所國際知名學(xué)者合作開源業(yè)界首個飽含紋理細(xì)節(jié)的大型3D家具數(shù)據(jù)集（3D-FUTURE），吸引了斯坦福大學(xué)、加州大學(xué)伯克利分校、清華大學(xué)、香港中文大學(xué)等高校及蘋果、Facebook等企業(yè)進(jìn)行學(xué)術(shù)和應(yīng)用的前沿研究。

責(zé)任編輯：PSY