微軟新AI框架可在2D圖像上生成3D圖像

已經(jīng)有不少機(jī)構(gòu)在將 2D 圖像轉(zhuǎn)換為 3D 形式的方面進(jìn)行了嘗試，包括 Facebook、Nvidia 等公司的 AI 研究實(shí)驗(yàn)室，或是類似 Threedy.AI 這樣的初創(chuàng)公司。近日，來自微軟的研究團(tuán)隊(duì)也發(fā)表了一篇預(yù)印論文，展示了其在非結(jié)構(gòu)化 2D 圖像的基礎(chǔ)上生成 3D 形狀圖像的能力。

雷鋒網(wǎng)注：上圖為微軟模型生成的 3D沙發(fā)，椅子和浴缸圖像

通常來說，訓(xùn)練這樣的框架需要通過柵格化處理來進(jìn)行微分步驟渲染，因此，過去研究人員在該領(lǐng)域的努力都專注于開發(fā)定制渲染模型。然而，通過此類模型處理的圖像會(huì)顯得不夠真實(shí)自然，也不適合用于生成游戲以及圖形產(chǎn)業(yè)的工業(yè)效果圖。

微軟的研究人員這一次做了新的突破——他們?cè)谡撐闹性敿?xì)介紹了一個(gè)框架，該框架采用的“可縮放”訓(xùn)練技術(shù)是第一次被用于這一領(lǐng)域。研究人員提到，在使用 2D 圖像進(jìn)行訓(xùn)練時(shí)，該框架始終可以比現(xiàn)有的模型生成效果更好的 3D 形狀，這對(duì)于視頻游戲開發(fā)人員、電子商務(wù)公司，以及缺乏創(chuàng)建 3D 模型經(jīng)驗(yàn)的動(dòng)畫公司來說，稱得上是“福音”。

具體來說，研究人員試圖利用功能齊全的工業(yè)渲染器，該渲染器可以根據(jù)顯示數(shù)據(jù)來生成圖像。為此，研究人員訓(xùn)練了 3D 形狀的生成模型，以便渲染形狀并生成與 2D 數(shù)據(jù)集分布相匹配的圖像。生成器模型采用隨機(jī)輸入向量（代表數(shù)據(jù)集特征的值）并生成 3D 對(duì)象的連續(xù)體素表示（3D 空間中網(wǎng)格上的值），然后將體素輸入到不可微分的渲染過程中，并在使用現(xiàn)有渲染器進(jìn)行渲染之前將其閾值降低為離散值。

也就是說，這是一種新穎的代理神經(jīng)渲染器直接渲染由 3D 形狀生成模型生成的連續(xù)體素網(wǎng)格的方式。正如研究人員所解釋的那樣，在給定 3D 網(wǎng)格輸入的情況下，需要對(duì)其進(jìn)行訓(xùn)練以匹配現(xiàn)成渲染器的渲染輸出。

生成式對(duì)抗網(wǎng)絡(luò)（GANS）在產(chǎn)生 2D 圖像數(shù)據(jù)方面的成果令人印象深刻，許多視覺應(yīng)用，比如游戲，都需要 3D 模型作為輸入，而不僅僅是圖像。但是，直接將現(xiàn)有的 GAN 模型擴(kuò)展到 3D，需要獲取 3D 訓(xùn)練數(shù)據(jù)。

雷鋒網(wǎng)注：上圖為微軟模型生成的 3D 蘑菇圖像

在實(shí)驗(yàn)過程中，研究團(tuán)隊(duì)為上述生成器采用了 3D 卷積 GAN 架構(gòu)（GAN 是一個(gè)由兩部分組成的 AI 模型，其中包括生成器，這些生成器使用分布式采樣從隨機(jī)噪聲中生成合成示例，并將這些示例與訓(xùn)練數(shù)據(jù)集中的真實(shí)示例一起饋入鑒別器中，以嘗試區(qū)分兩者）?；?3D 模型生成的數(shù)據(jù)集和真實(shí)的數(shù)據(jù)集可以合成來自不同對(duì)象類別的圖像，并在整個(gè)訓(xùn)練過程中從不同角度進(jìn)行渲染。

研究人員還表示，他們的框架還會(huì)從圖像中提取照明和陰影信息，使其能夠從每個(gè)訓(xùn)練樣本中提取更多有意義的數(shù)據(jù)，并在此基礎(chǔ)上產(chǎn)生更好的結(jié)果。在對(duì)自然圖像的數(shù)據(jù)集進(jìn)行訓(xùn)練之后，該框架可以生成逼真的樣本。此外，該框架還可以利用表面之間的曝光差異來成功檢測出凹形物體的內(nèi)部結(jié)構(gòu)，從而使準(zhǔn)確地捕獲凹形程度和中空空間。

將顏色，材料和照明等信息合并到系統(tǒng)中，未來，這些信息就可以與更多“常規(guī)”實(shí)際數(shù)據(jù)集一起使用。