渲染結(jié)果與原始圖像匹配 視覺(jué)系統(tǒng)精準(zhǔn)地提取場(chǎng)景參數(shù)

近幾年，可嵌入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中的新型可微圖形層開(kāi)始興起。從空間變換器到可微圖形渲染器，這些新型網(wǎng)絡(luò)層利用多年積累的計(jì)算機(jī)視覺(jué)和圖形學(xué)研究知識(shí)來(lái)構(gòu)建更高效的新型網(wǎng)絡(luò)架構(gòu)。通過(guò)將幾何先驗(yàn)和約束顯式建模到神經(jīng)網(wǎng)絡(luò)中，我們?yōu)槟軌蚋咝Х€(wěn)健地以自監(jiān)督方式（這點(diǎn)更為重要）接受訓(xùn)練的架構(gòu)打開(kāi)了大門(mén)。

總體來(lái)看，計(jì)算機(jī)圖形管道需要 3D 物體及其在場(chǎng)景中的絕對(duì)位置、對(duì)物體材質(zhì)的描述、光和攝像頭。然后，渲染器會(huì)解譯該場(chǎng)景描述，進(jìn)而生成合成渲染。

與之相比，計(jì)算機(jī)視覺(jué)系統(tǒng)會(huì)從圖像入手，試圖推斷場(chǎng)景的參數(shù)。這可以實(shí)現(xiàn)對(duì)場(chǎng)景中的物體，以及對(duì)其材質(zhì)、三維位置和方向的預(yù)測(cè)。

訓(xùn)練能夠解決這些復(fù)雜 3D 視覺(jué)任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)通常需要大量數(shù)據(jù)。由于標(biāo)記數(shù)據(jù)是一個(gè)成本高昂且復(fù)雜的過(guò)程，所以我們必須配備設(shè)計(jì)機(jī)器學(xué)習(xí)模型的機(jī)制，以設(shè)計(jì)出既能理解三維世界，又在訓(xùn)練時(shí)無(wú)需太多監(jiān)督的機(jī)器學(xué)習(xí)模型。通過(guò)將計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)技術(shù)相結(jié)合，我們可以隨時(shí)利用大量無(wú)標(biāo)記數(shù)據(jù)，這是絕無(wú)僅有的好機(jī)會(huì)。舉例而言，下圖所示的流程可以通過(guò)合成分析實(shí)現(xiàn)，即視覺(jué)系統(tǒng)提取場(chǎng)景函數(shù)，然后圖形系統(tǒng)根據(jù)這些函數(shù)返回渲染后的圖像。如果渲染結(jié)果與原始圖像匹配，則說(shuō)明視覺(jué)系統(tǒng)精準(zhǔn)地提取了場(chǎng)景參數(shù)。在該設(shè)置中，計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)攜手合作，形成了一個(gè)類(lèi)似自編碼器的機(jī)器學(xué)習(xí)系統(tǒng)，該系統(tǒng)能夠以自監(jiān)督方式進(jìn)行訓(xùn)練。

可微圖形層

接下來(lái)，我們將探索 TensorFlow Graphics 的一些可用功能。本次探索之旅并未涵蓋所有內(nèi)容；如需更多信息，請(qǐng)?jiān)L問(wèn)我們的GitHub，探索 TensorFlow Graphics 推出的新功能。

變換

物體變換可控制物體的空間位置。如下圖所示，利用軸線角形式旋轉(zhuǎn)立方體。旋轉(zhuǎn)軸指向上方，旋轉(zhuǎn)方向?yàn)槟鏁r(shí)針，因此立方體以逆時(shí)針?lè)较蛐D(zhuǎn)。在此Colab 示例中，我們展示了如何在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練旋轉(zhuǎn)形式，該神經(jīng)網(wǎng)絡(luò)在經(jīng)過(guò)訓(xùn)練后用于預(yù)測(cè)觀測(cè)物體的旋轉(zhuǎn)和平移。這項(xiàng)任務(wù)是很多應(yīng)用的核心，包括專(zhuān)注于與所處環(huán)境進(jìn)行交互的機(jī)器人。在這些場(chǎng)景中，用機(jī)械臂（例如，通過(guò)其手柄）抓取物體需要精確估測(cè)這些物體相對(duì)于機(jī)械臂的位置。

對(duì)攝像頭進(jìn)行建模

攝像頭模型在計(jì)算機(jī)視覺(jué)領(lǐng)域占據(jù)至關(guān)重要的地位，因?yàn)槠鋵?duì)三維物體投影到圖像平面的外觀影響極大。如下圖所示，此立方體似乎正在放大和縮小，但事實(shí)上這只是焦距改變帶來(lái)的變化。

材質(zhì)

材質(zhì)模型定義光線與物體的交互過(guò)程，從而賦予物體獨(dú)特的外觀。例如，某些材質(zhì)（如石膏）會(huì)均勻地向各個(gè)方向反射光線，而鏡面等其他材質(zhì)只會(huì)產(chǎn)生鏡面反射。在此交互式Colab 筆記本中，您將了解如何使用 Tensorflow Graphics 生成以下渲染。您還將有機(jī)會(huì)試驗(yàn)材質(zhì)和光線的參數(shù)，充分了解其交互過(guò)程。準(zhǔn)確預(yù)測(cè)材質(zhì)屬性是許多任務(wù)的基礎(chǔ)。例如，它可以讓用戶在所處環(huán)境中放置虛擬家具，打造室內(nèi)環(huán)境與家具搭配的逼真場(chǎng)景，使用戶能夠準(zhǔn)確感知這件家具的外觀。

幾何學(xué) — 3D 卷積和池化

近年來(lái)，以點(diǎn)云或網(wǎng)格形式輸出三維數(shù)據(jù)的傳感器正在逐漸融入我們的日常生活，包括智能手機(jī)深度傳感器、自動(dòng)駕駛汽車(chē)?yán)走_(dá)等等。由于其結(jié)構(gòu)不規(guī)則，在這些表征上執(zhí)行卷積要比在規(guī)則網(wǎng)格結(jié)構(gòu)上困難得多。TensorFlow Graphics 提供兩個(gè) 3D 卷積層和一個(gè) 3D 池化層，方便開(kāi)展訓(xùn)練，例如訓(xùn)練網(wǎng)絡(luò)在網(wǎng)格上執(zhí)行對(duì)語(yǔ)義部分的分類(lèi)（如下圖所示）

TensorBoard 3D

可視化調(diào)試是評(píng)估實(shí)驗(yàn)是否按正確方向開(kāi)展的重要方法。為此，TensorFlow Graphics 配備了 TensorBoard 插件，支持以交互方式顯示 3D 網(wǎng)格和點(diǎn)云。