0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一個(gè)名為CompenNet的卷積神經(jīng)網(wǎng)絡(luò)來(lái)隱含地學(xué)習(xí)復(fù)雜的補(bǔ)償函數(shù)

WpOh_rgznai100 ? 來(lái)源:lq ? 2019-06-07 16:46 ? 次閱讀

作為計(jì)算機(jī)視覺(jué)領(lǐng)域里的頂級(jí)會(huì)議,CVPR 2019 錄取論文代表了計(jì)算機(jī)視覺(jué)領(lǐng)域在2019年最新科技水平以及未來(lái)發(fā)展潮流。今年有超過(guò) 5165 篇大會(huì)論文投稿,最終錄取 1299 篇。這些錄取的最新科研成果,涵蓋了計(jì)算機(jī)視覺(jué)領(lǐng)域各項(xiàng)前沿工作。而此次介紹的來(lái)自美國(guó)天普大學(xué)(Temple University)和美圖-亮風(fēng)臺(tái)聯(lián)合實(shí)驗(yàn)室的黃兵姚和凌海濱提出了端到端的投影廣度補(bǔ)償?shù)牟呗?。?jù)了解,相關(guān)論文《End-to-end Projector Photometric Compensation》還入選了CVPR 2019 的oral presentation,代碼已經(jīng)開(kāi)源。

論文地址:

https://arxiv.org/abs/1904.04335v1

黃兵姚1,2,凌海濱1

1 天普大學(xué)

2 美圖亮風(fēng)臺(tái)聯(lián)合實(shí)驗(yàn)室,亮風(fēng)臺(tái)信息科技

摘要

投影儀光度補(bǔ)償旨在修改投影儀輸入圖像,使得它可以抑制或抵消投影表面上面紋理或圖案帶來(lái)的干擾。

在本文中,我們首次將補(bǔ)償問(wèn)題表述為端到端學(xué)習(xí)問(wèn)題,并提出一個(gè)名為CompenNet的卷積神經(jīng)網(wǎng)絡(luò)來(lái)隱含地學(xué)習(xí)復(fù)雜的補(bǔ)償函數(shù)。 CompenNet由一個(gè)類(lèi)似UNet的骨干網(wǎng)和一個(gè)自動(dòng)編碼器子網(wǎng)組成。這種架構(gòu)鼓勵(lì)相機(jī)捕獲的投影表面圖像和輸入圖像之間的豐富的多級(jí)交互,因此捕獲投影表面的光度和環(huán)境信息。此外,視覺(jué)細(xì)節(jié)和交互信息是在多級(jí)跳過(guò)卷積層中進(jìn)行的。該架構(gòu)對(duì)于投影儀補(bǔ)償任務(wù)特別重要,因?yàn)樵趯?shí)踐中僅允許使用很小的訓(xùn)練數(shù)據(jù)集來(lái)保證模型學(xué)習(xí)的速度。

我們做出的另一項(xiàng)貢獻(xiàn)是一種新穎的評(píng)估基準(zhǔn),它獨(dú)立于系統(tǒng)設(shè)置,因此可以進(jìn)行定量驗(yàn)證。據(jù)我們所知,由于傳統(tǒng)評(píng)估要求硬件系統(tǒng)實(shí)際投影最終結(jié)果,因此以前無(wú)法獲得此類(lèi)基準(zhǔn)測(cè)試。從我們的端到端問(wèn)題公式出發(fā),我們的主要思想是使用合理的替代來(lái)避免這種投影過(guò)程,從而達(dá)到獨(dú)立于系統(tǒng)設(shè)置的評(píng)估標(biāo)準(zhǔn)。我們的方法在基準(zhǔn)測(cè)試中得到了仔細(xì)的評(píng)估,結(jié)果表明,我們提出的解決方案在定性和定量指標(biāo)上都優(yōu)于現(xiàn)有技術(shù)水平。

1. 介紹

圖1. (a)正常光照下的具有紋理和顏色的投影屏幕。(b)投影儀投射的圖片(也是我們想要看到的效果)。(c)相機(jī)拍攝到的,沒(méi)有補(bǔ)償?shù)耐队敖Y(jié)果,即將(b)直接投影到(a)上。(d)我們模型計(jì)算出的補(bǔ)償圖。(e)相機(jī)拍到的補(bǔ)償后的效果,即將(d)投影到(a)上。比較(c)和(e),我們看到明顯提升的效果和細(xì)節(jié)。

投影儀廣泛用于演示,電影,結(jié)構(gòu)光和投影映射等應(yīng)用。為了保證用戶看到的投影質(zhì)量,現(xiàn)有的投影儀系統(tǒng)典型地要求投影表面(屏幕)是白色和無(wú)紋理的,并且處在在合理的環(huán)境光照下。然而這種要求在很大程度上限制了這些系統(tǒng)的適用性。為了解決以上限制,投影儀光度補(bǔ)償,或簡(jiǎn)稱投影儀補(bǔ)償,旨在通過(guò)修改投影儀輸入圖像來(lái)補(bǔ)償投影表面以及相關(guān)的環(huán)境光度。如圖1所示,其中補(bǔ)償?shù)耐队敖Y(jié)果(e)明顯比未補(bǔ)償?shù)耐队敖Y(jié)果(c)更令人視覺(jué)舒適。

典型的投影儀補(bǔ)償系統(tǒng)包括相機(jī)-投影儀對(duì)和放置在固定距離和方向上的投影表面。首先,投影儀將一系列采樣圖像投射到投影表面,然后投射的采樣圖像會(huì)根據(jù)投影表面材料被吸收,被反射或被折射。一旦相機(jī)捕獲了所有投影的采樣圖像,我們會(huì)根據(jù)投射的和捕獲的采樣圖像對(duì)來(lái)擬合一個(gè)從投影儀輸入圖到相機(jī)捕獲圖的復(fù)合輻射傳遞函數(shù)。然后使用該函數(shù)(或其反函數(shù))推斷新的投影儀輸入圖像的補(bǔ)償圖像?,F(xiàn)有的解決方案通常顯式地地對(duì)補(bǔ)償函數(shù)進(jìn)行建模,其中通過(guò)各種簡(jiǎn)化的假設(shè),使得補(bǔ)償函數(shù)的估計(jì)變得容易。然而,這些假設(shè)往往是違反實(shí)際情況的,例如依賴于背景(第2節(jié))。此外,由于投影,反射和捕獲這個(gè)光學(xué)過(guò)程的巨大復(fù)雜性,對(duì)補(bǔ)償過(guò)程顯式建模幾乎是不可能的。在本文中,我們首次提出了端到端投影儀補(bǔ)償方案,用以解決上述問(wèn)題。我們首先將補(bǔ)償問(wèn)題重新定義為一種可以在線學(xué)習(xí)的新穎形式,如同投影儀補(bǔ)償實(shí)際要求的那樣。這種問(wèn)題構(gòu)造就使得我們開(kāi)發(fā)出一種名為CompenNet的卷積神經(jīng)網(wǎng)絡(luò)(CNN),以隱含地學(xué)習(xí)復(fù)雜的補(bǔ)償函數(shù)。特別是,CompenNet由兩個(gè)子網(wǎng)組成,一個(gè)類(lèi)似UNet的骨干網(wǎng)和一個(gè)自動(dòng)編碼器子網(wǎng)。首先,自動(dòng)編碼器子網(wǎng)激勵(lì)相機(jī)捕獲的投影表面圖像和投影儀輸入圖像之間的豐富的多層次交互,這樣我們可以提取到投影表面的光度和環(huán)境信息。其次,類(lèi)似UNet的骨干網(wǎng)絡(luò),我們也使用多級(jí)跳過(guò)卷積層將視覺(jué)細(xì)節(jié)和交互信息傳送到更深層和輸出層。這兩個(gè)子網(wǎng)共同使CompenNet在實(shí)踐中有效,并使得CompenNet學(xué)習(xí)從相機(jī)捕獲到的投影圖像到投影儀輸入圖像的復(fù)雜反向映射。此外,我們還設(shè)計(jì)了一個(gè)預(yù)訓(xùn)練方案,只需犧牲一點(diǎn)精確度就可以進(jìn)一步提高網(wǎng)絡(luò)訓(xùn)練效率。本文討論的另一個(gè)問(wèn)題是目前這個(gè)領(lǐng)域缺乏一個(gè)投影儀補(bǔ)償模型的評(píng)價(jià)基準(zhǔn),主要是因?yàn)閭鹘y(tǒng)評(píng)價(jià)高度依賴于環(huán)境設(shè)置。具體地說(shuō),為了評(píng)估補(bǔ)償算法,理論上,其實(shí)驗(yàn)結(jié)果是需要實(shí)際投影和捕獲,然后再定量地與真值進(jìn)行比較。這個(gè)過(guò)程使得共享相同的評(píng)價(jià)基準(zhǔn)不切實(shí)際的。在我們這項(xiàng)工作中,我們提出一個(gè)替代評(píng)價(jià)協(xié)議,該協(xié)議不要求實(shí)際投影。這樣,我們首次構(gòu)建了一個(gè)可共享的獨(dú)立于環(huán)境設(shè)置的評(píng)價(jià)基準(zhǔn)。

本文提出的投影儀補(bǔ)償網(wǎng)絡(luò),即CompenNet,在替代評(píng)價(jià)基準(zhǔn)上進(jìn)行評(píng)估,該基準(zhǔn)經(jīng)過(guò)精心設(shè)計(jì),以涵蓋各種具有挑戰(zhàn)性的因素。在實(shí)驗(yàn)中, 與最先進(jìn)的解決方案相比CompenNet顯示出明顯的優(yōu)勢(shì)??傊诒疚闹?,我們做出以下貢獻(xiàn):

1. 我們首次提出了一種用于投影儀補(bǔ)償?shù)亩说蕉私鉀Q方案。這種解決方案允許我們的系統(tǒng)有效地和隱式地捕獲投影儀補(bǔ)償過(guò)程中涉及的復(fù)雜光學(xué)過(guò)程。

2. 我們提出的CompenNet有兩個(gè)重要的子網(wǎng),它們可以讓投影表面和投影儀輸入圖像之間實(shí)現(xiàn)豐富的多層次交互,并通過(guò)網(wǎng)絡(luò)傳輸交互信息和結(jié)構(gòu)細(xì)節(jié)。

3. 我們提出了一種預(yù)訓(xùn)練方法,以進(jìn)一步提高我們系統(tǒng)的實(shí)用效率。

4. 我們首次構(gòu)建了與獨(dú)立于環(huán)境設(shè)置的投影儀補(bǔ)償評(píng)價(jià)基準(zhǔn),這有助于這個(gè)領(lǐng)域?qū)?lái)的研究工作。源代碼,基準(zhǔn)測(cè)試和實(shí)驗(yàn)結(jié)果可在https://github.com/BingyaoHuang/CompenNet上獲得。

2. 相關(guān)研究

理論上,投影儀補(bǔ)償過(guò)程是一個(gè)非常復(fù)雜的非線性函數(shù),涉及相機(jī)和投影儀傳感器的輻射響應(yīng),鏡頭失真/漸暈,散焦,表面材料反射特性和相互反射。目前已有大量的研究致力于設(shè)計(jì)實(shí)用和準(zhǔn)確的投影儀補(bǔ)償模型,這些模型大致可分為情景相關(guān)和情景獨(dú)立的模型。詳細(xì)的討論可以在[4,12]中找到。

情景獨(dú)立的方法通常假設(shè)在投影儀輸入圖像和相機(jī)捕獲圖像的像素之間存在近似的一對(duì)一映射,即,相機(jī)捕獲圖像的像素僅取決于其對(duì)應(yīng)的投影儀輸入圖像的像素,和被這個(gè)投影儀像素照明的表面塊。即,每個(gè)像素大致獨(dú)立于其鄰域像素。 Nayar等人的先驅(qū)工作提出了一種線性模型,該模型使用3×3顏色混合矩陣將投影儀光線亮度映射到相機(jī)檢測(cè)到的輻照度。 Grossberg等通過(guò)在相機(jī)捕獲的輻照度上添加3×1矢量來(lái)改善Nayar的工作并對(duì)環(huán)境光照進(jìn)行建模。然而,他們需要一個(gè)光譜輻射計(jì)來(lái)標(biāo)定相機(jī)的均勻輻射響應(yīng)函數(shù)。此外,正如[20]中所指出的,即使使用光譜輻射計(jì),通常也會(huì)違反均勻輻射響應(yīng)的假設(shè),更不用說(shuō)線性度??紤]到傳遞函數(shù)的非線性,Sajadi等用93 = 729個(gè)采樣圖像擬合了一個(gè)平滑的高維Bezier貼片模型 。 Grundhofer和Iwai提出了一種基于薄板樣條(TPS)的方法,并將采樣圖像的數(shù)量減少到53 = 125,并通過(guò)全局優(yōu)化步驟進(jìn)一步處理剪切誤差和圖像平滑度。除了以數(shù)學(xué)方式優(yōu)化圖像顏色之外,有一些方法還特別關(guān)注人類(lèi)視覺(jué)感知特性,例如,Huang等人通過(guò)探索人類(lèi)視覺(jué)系統(tǒng)的色彩適應(yīng)和感知錨定屬性來(lái)生成令人視覺(jué)愉悅的投影圖像。此外,使用色域縮放可最大限度地減少由于相機(jī)/投影儀傳感器限制導(dǎo)致的剪切偽影。盡管以上方法在很大程度上簡(jiǎn)化了投影儀補(bǔ)償問(wèn)題,但由于諸如投影儀和投影表面的距離,透鏡畸變,散焦和表面相互反射等許多因素,在實(shí)踐中通常會(huì)違反情景獨(dú)立的假設(shè)。此外,顯然一條投影儀射線可以照射多個(gè)表面塊,一個(gè)表面塊也可以被其周?chē)砻鎵K的相互反射來(lái)照明,并且相機(jī)像素也是由多條貼片反射的光線確定的。

情景相關(guān)的方法通過(guò)考慮來(lái)自鄰域的信息來(lái)補(bǔ)償像素。 Grundhofer等通過(guò)先前分析投影表面和圖像來(lái)處理視覺(jué)偽像并提高亮度和對(duì)比度。Li等通過(guò)稀疏采樣和線性插值將采樣圖像的數(shù)量減少到至少兩個(gè)。他們提取多維反射矢量作為顏色傳遞函數(shù)控制點(diǎn)。由于采樣點(diǎn)的尺寸小,這種方法可能是敏感的投影或聚焦和鏡頭漸暈。使用這些不可靠的樣本進(jìn)行簡(jiǎn)單的線性插值可能會(huì)增加補(bǔ)償誤差。除了計(jì)算一個(gè)補(bǔ)償模型,Aliaga等引入了運(yùn)行時(shí)線性縮放操作來(lái)優(yōu)化多個(gè)投影儀補(bǔ)償。Takeda等提出了一種使用紫外LED陣列的相互補(bǔ)償方法。情景相關(guān)類(lèi)方法通常通過(guò)集成更多信息來(lái)改進(jìn)先前的情景獨(dú)立的方法。然而,由于全局照明,投影表面和輸入圖像之間的復(fù)雜相互作用,很難對(duì)理想的補(bǔ)償過(guò)程進(jìn)行建模或近似。此外,大多數(shù)現(xiàn)有工作集中于減少像素顏色誤差,而不是同時(shí)改善與目標(biāo)圖像的像素顏色誤差和結(jié)構(gòu)相似性。我們的方法屬于情景相關(guān)類(lèi),并且實(shí)際上通過(guò)使用CNN結(jié)構(gòu)來(lái)捕獲更豐富的情景信息。作為第一個(gè)端到端的基于學(xué)習(xí)的解決方案,我們的方法隱式且有效地模擬了復(fù)雜的投影儀補(bǔ)償過(guò)程。此外,我們提出的評(píng)價(jià)基準(zhǔn)是第一個(gè)可以被共享的,可驗(yàn)證的定量評(píng)估的基準(zhǔn)。

我們的方法其實(shí)受到了最近的基于深度學(xué)習(xí)的圖到圖遷移模型的啟發(fā),如pix2pix,CycleGAN,風(fēng)格轉(zhuǎn)移,圖像超分辨率和圖像著色等。也就是說(shuō),作為第一個(gè)基于深度學(xué)習(xí)的投影儀補(bǔ)償算法,我們的方法與這些研究有很大的不同,并且有其特殊的約束條件。例如,與上述訓(xùn)練一次然后就可以運(yùn)用在不同場(chǎng)景的CNN模型不同,在我們的場(chǎng)景下如果系統(tǒng)設(shè)置發(fā)生了變化,則需要快速重新訓(xùn)練投影儀補(bǔ)償模型。然而,在實(shí)踐中,采集訓(xùn)練圖像和訓(xùn)練模型都是耗時(shí)的。此外,諸如圖像裁剪和仿射變換之類(lèi)的數(shù)據(jù)增強(qiáng)不適用于我們的任務(wù),因?yàn)槊總€(gè)相機(jī)像素與其對(duì)應(yīng)的投影儀像素的鄰域以及由像素照射的投影表面貼片強(qiáng)耦合。此外,一般圖到圖的遷移模型不能擬合在全局光照,投影儀背光和投影表面之間的復(fù)雜光譜相互作用。事實(shí)上,在我們的實(shí)驗(yàn)評(píng)價(jià)中,我們所提出的方法在定性和定量指標(biāo)上明顯的優(yōu)于經(jīng)典的pix2pix模型。

3. 深度投影儀補(bǔ)償

3.1 問(wèn)題定義

我們的投影儀補(bǔ)償系統(tǒng)包括一個(gè)相機(jī)-投影儀對(duì)和一個(gè)平面投影表面。 令投影儀輸入圖像為x; 并讓投影儀和相機(jī)的復(fù)合幾何投影和輻射傳遞函數(shù)分別為πp和πc。 設(shè)表面光譜反射特性和光譜反射函數(shù)分別為s和πs。 讓全局照明輻照度分布為g,然后相機(jī)捕獲的圖像~x,由下式給出:

投影儀補(bǔ)償?shù)膯?wèn)題是找到一個(gè)投影儀輸入圖像x*,名為x的補(bǔ)償圖像,使得相機(jī)捕獲的圖像與所希望的觀看者感知圖像一致,即,

然而,在上述情況下的光譜相互作用和光譜響應(yīng)是非常復(fù)雜的,并且傳統(tǒng)方法并不能很好的解決。 此外,實(shí)踐中也很難直接測(cè)量g和s。 出于這個(gè)原因,我們使用相機(jī)捕獲的全局照明和投影儀背光下的表面圖像,并用這張圖捕捉它們的光譜相互作用:

圖2:所提出的投影儀補(bǔ)償管道的流程圖包括三個(gè)主要步驟。 (a)投影并捕捉投影表面圖和一組采樣圖像。 (b)使用投影表面圖和捕獲的圖像對(duì)訓(xùn)練所提出的CompenNet,即π?θ。 (c)利用訓(xùn)練的模型,補(bǔ)償輸入圖像y并投影。

其中x0理論上是一張全黑的圖。 實(shí)際上,即使輸入圖像為黑色,投影儀也會(huì)輸出一些背光πp(x0),因此我們將這個(gè)因子封裝在~s中。 當(dāng)全局照明較低時(shí),~s會(huì)受到因相機(jī)動(dòng)態(tài)范圍導(dǎo)致的色域剪切影響,因此我們將x0設(shè)置為純灰色圖像以提供一些照明。 將方程式2中的復(fù)合輻射傳遞函數(shù)表示為π并用~s代替g和s,我們得到補(bǔ)償問(wèn)題為

其中π?是π的逆函數(shù),顯然沒(méi)有閉解。

3.2 基于學(xué)習(xí)的表述

基于學(xué)習(xí)的解決方案的關(guān)鍵要求是可用的訓(xùn)練數(shù)據(jù)。 在下文中,我們推導(dǎo)出一種收集此類(lèi)數(shù)據(jù)的方法。 觀察§3.1中的問(wèn)題表述,我們發(fā)現(xiàn):

這表明我們可以從采樣的(~x,x)和一張投影表面圖學(xué)習(xí)π?,如圖3所示。 事實(shí)上,一些先前的解決方案使用了類(lèi)似的想法來(lái)擬合π?,但是基于一些簡(jiǎn)單的假設(shè)和沒(méi)有考慮~s。 相反,我們使用深度神經(jīng)網(wǎng)絡(luò)解決方案重新制定投影儀補(bǔ)償問(wèn)題,該解決方案能夠保持投影儀補(bǔ)償?shù)膹?fù)雜性。 特別是,我們使用端到端可學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)對(duì)補(bǔ)償過(guò)程進(jìn)行建模,該網(wǎng)絡(luò)名為CompenNet,本文中表示為π?θ(見(jiàn)(圖2(b)),使得:

其中^x是~x(不是x)的補(bǔ)償,θ包含可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)。 值得注意的是,只要環(huán)境設(shè)置不變,就可以固定~s,因此在訓(xùn)練和預(yù)測(cè)中只需要一個(gè)~s。 通過(guò)使用方程式5,我們可以生成N個(gè)訓(xùn)練對(duì),表示為然后,利用損失函數(shù)L,可以學(xué)習(xí)CompenNet:

我們的損失函數(shù)旨在通過(guò)結(jié)合逐像素L1范數(shù)和SSIM損失來(lái)共同優(yōu)化補(bǔ)償圖像的結(jié)構(gòu)與目標(biāo)圖像的相似性:

這種損失函數(shù)優(yōu)于其他損失函數(shù)的優(yōu)點(diǎn)顯示在[39]和我們?cè)诒?和圖5中的綜合實(shí)驗(yàn)比較中。

3.3 網(wǎng)絡(luò)設(shè)計(jì)

基于上述公式,我們的CompenNet設(shè)計(jì)有兩個(gè)輸入圖像,~x和~s,分別對(duì)應(yīng)于相機(jī)捕獲的未補(bǔ)償圖x和相機(jī)捕獲的投影表面圖。 網(wǎng)絡(luò)架構(gòu)如圖3所示。兩個(gè)輸入和輸出均為256×256×3 RGB圖像。 兩個(gè)輸入圖像都被饋送到一系列卷積層以進(jìn)行降采樣并提取多級(jí)特征圖。 請(qǐng)注意,在圖3中,我們給出兩條不同的顏色的路徑,以指示兩個(gè)分支不共享權(quán)重。 然后通過(guò)逐點(diǎn)加法組合多級(jí)特征圖,使模型能夠?qū)W習(xí)在全局光照,投影背光,表面和投影圖像之間的復(fù)雜光譜相互作用。

圖3:CompenNet的體系結(jié)構(gòu)(省略了ReLU層)。 所有卷積層由3×3卷積核組成,所有轉(zhuǎn)置卷積層由2×2卷積核組成。 上采樣和下采樣層都使用兩步。 每層的卷積核數(shù)量標(biāo)在其頂部。 跳過(guò)卷積層以彩色箭頭顯示,為了簡(jiǎn)介表示,層數(shù)和層數(shù)標(biāo)記為#layers_#filters。 學(xué)習(xí)從相機(jī)捕獲的未補(bǔ)償圖到投影儀輸入圖(左:~x →x)的反向映射與學(xué)習(xí)從期望觀察者感知的圖到補(bǔ)償圖的映射(右:x →x *)其實(shí)是相同的。

我們還通過(guò)跳過(guò)卷積層將低級(jí)交互信息傳遞給高級(jí)特征。在網(wǎng)絡(luò)中間部分,我們通過(guò)逐漸增加特征通道來(lái)提取豐富的特征,同時(shí)保持特征圖的寬度和高度不變。然后,我們使用兩個(gè)轉(zhuǎn)置的卷積層逐漸將特征映射上采樣到256×256×32。最后,網(wǎng)絡(luò)的輸出是圖3底部的三個(gè)跳過(guò)卷積層和網(wǎng)絡(luò)最后層的輸出的和。注意我們?cè)谳敵鲋皩⑤敵鰣D像像素值鉗位到[0,1]。我們發(fā)現(xiàn)用更多的CNN層和卷積核,例如,512個(gè)卷積核可以產(chǎn)生更好的補(bǔ)償結(jié)果,但是會(huì)過(guò)擬合,并且會(huì)增加訓(xùn)練和預(yù)測(cè)時(shí)間。但是,如果某個(gè)應(yīng)用場(chǎng)景更偏重精確而不是速度,它可以添加更多卷積層,增加迭代次數(shù)并相應(yīng)地捕獲更多訓(xùn)練數(shù)據(jù)。在本文中,我們選擇圖3中的架構(gòu)來(lái)平衡訓(xùn)練/預(yù)測(cè)時(shí)間和采樣數(shù)據(jù)量。為了使該方法更實(shí)用,我們還通過(guò)使用白色投影表面投影和捕獲N(N = 500)個(gè)采樣圖像來(lái)提供預(yù)訓(xùn)練模型。一旦設(shè)置(例如,投影表面或全局照明)改變,我們可以使用較少的(例如32個(gè))采樣圖來(lái)微調(diào)預(yù)訓(xùn)練的模型,而不是重新捕獲500個(gè)訓(xùn)練圖像。該技術(shù)節(jié)省了數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練的時(shí)間,相對(duì)于現(xiàn)有解決方案這更說(shuō)明了我們的優(yōu)勢(shì)。我們?cè)凇?.3中證明了預(yù)訓(xùn)練模型的有效性。

3.4 訓(xùn)練細(xì)節(jié)

我們使用PyTorch實(shí)現(xiàn)網(wǎng)絡(luò)模型并使用Adam優(yōu)化器,我們?cè)O(shè)置β1= 0.9和L2范數(shù)懲罰因子設(shè)置為10-4。初始學(xué)習(xí)率設(shè)置為10-3,并且我們每800次迭代將其衰減5倍。 使用Kaiming He的方法初始化模型權(quán)重。 我們將批量大小設(shè)置為64,并在兩個(gè)Nvidia GeForce 1080 GPU上訓(xùn)練模型1000次迭代,完成訓(xùn)練需要大約10分鐘(500個(gè)訓(xùn)練樣本)。 補(bǔ)充材料提供了不同超參數(shù)的評(píng)估。

3.5 補(bǔ)償管道

總而言之,所提出的投影儀補(bǔ)償管道包括圖2所示的三個(gè)主要步驟。(a)我們首先將純灰色圖像x0和N個(gè)采樣圖像x1,...,xN投影到平面投影表面并用相機(jī)捕獲它們。然后使用單應(yīng)矩陣將每個(gè)捕獲的圖像變換到投影儀的正視圖,并使用我們令變換后的相機(jī)圖為~xi。(b)之后,我們收集N個(gè)圖像對(duì)(~xi,xi)并訓(xùn)練投影儀補(bǔ)償模型π?θ。 (c)最后,利用訓(xùn)練模型,我們?yōu)檩斎雸D像y生成補(bǔ)償圖像y *并將y *投影到表面。

4. 評(píng)價(jià)基準(zhǔn)

目前為止,還有一個(gè)問(wèn)題沒(méi)有解決,即以前的研究中缺乏一致的定量評(píng)估基準(zhǔn),主要是因?yàn)閭鹘y(tǒng)評(píng)估實(shí)驗(yàn)高度依賴環(huán)境設(shè)置。理論上,為了評(píng)估補(bǔ)償算法,其算出的輸入圖x的補(bǔ)償圖像x *應(yīng)該被實(shí)際投射到投影表面,然后再由相機(jī)捕獲,最后與真值進(jìn)行定量比較。這個(gè)過(guò)程顯然是不實(shí)用的,因?yàn)樗笏袇⑴c比較的算法都具有相同的投影儀-相機(jī)-環(huán)境設(shè)置,以便公平地比較不同的算法。

在這項(xiàng)工作中,根據(jù)我們的問(wèn)題定義,我們得出了一個(gè)有效的替代評(píng)估協(xié)議,該協(xié)議不要求實(shí)際的投影。基本上,根據(jù)方程式5,我們用采集訓(xùn)練樣本相同的方式收集測(cè)試樣本。我們也可以用類(lèi)似的方式評(píng)估算法。具體而言,我們?cè)谂c訓(xùn)練集X相同的系統(tǒng)設(shè)置下收集M個(gè)樣本的測(cè)試集

。然后,可以通過(guò)平均所有測(cè)試集上的輸入圖像yi及其算法輸出的相似度來(lái)測(cè)量算法性能。

上述協(xié)議允許我們構(gòu)建一個(gè)投影儀補(bǔ)償評(píng)估基準(zhǔn),該基準(zhǔn)由K個(gè)不同設(shè)置組成,每個(gè)設(shè)置具有訓(xùn)練集Xk,測(cè)試集Yk和表面圖像~sk,k = 1,...,K。

系統(tǒng)配置。我們的投影儀補(bǔ)償系統(tǒng)包括圖像分辨率為960×640的佳能6D相機(jī),以及分辨率為800×600的ViewSonic PJD7828HDL DLP投影儀。相機(jī)與投影儀之間的距離為500mm,投影表面在相機(jī) - 投影儀對(duì)前方約為1,000mm。相機(jī)曝光模式,對(duì)焦模式和白平衡模式設(shè)置為手動(dòng),在數(shù)據(jù)采集和系統(tǒng)驗(yàn)證期間固定全局照明。

數(shù)據(jù)集。為了獲得盡可能多樣化的采樣顏色和紋理,我們從因特網(wǎng)下載700個(gè)彩色紋理圖像,并且對(duì)于每個(gè)訓(xùn)練集Xk使用N = 500,對(duì)于每個(gè)測(cè)試集Yk使用M = 200。總共K = 24個(gè)不同的設(shè)置準(zhǔn)備用于訓(xùn)練和評(píng)估。未來(lái)的工作可以復(fù)制我們的結(jié)果,并在基準(zhǔn)測(cè)試中與CompenNet進(jìn)行比較,而無(wú)需復(fù)現(xiàn)我們的環(huán)境設(shè)置。有關(guān)更多相機(jī)捕獲的補(bǔ)償結(jié)果和基準(zhǔn)測(cè)試的詳細(xì)配置,請(qǐng)參閱補(bǔ)充材料。

(鏈接:

http://www.dabi.temple.edu/~hbling/publication/CompenNet_sup.pdf)

5. 實(shí)驗(yàn)評(píng)估

5.1 與現(xiàn)有技術(shù)進(jìn)行比較

我們將我們的投影儀補(bǔ)償方法和情景獨(dú)立的TPS模型,改進(jìn)的TPS模型(下面解釋?zhuān)┖徒?jīng)典的圖到圖遷移模型pix2pix在我們的基準(zhǔn)庫(kù)上進(jìn)行了比較。我們首先捕獲了原始TPS方法中使用的125對(duì)純色采樣圖像。我們還使用我們了多樣化的紋理訓(xùn)練集Xk來(lái)訓(xùn)練TPS方法,并命名為T(mén)PS textured。表1和圖4中的實(shí)驗(yàn)結(jié)果表明這使得TPS在原始TPS方法上有改進(jìn)。然后,我們將我們的方法與pix2pix進(jìn)行比較,以證明投影儀補(bǔ)償問(wèn)題的挑戰(zhàn),以及我們的配方和架構(gòu)的優(yōu)勢(shì)。 我們采用了pix2pix的默認(rèn)實(shí)現(xiàn),并根據(jù)補(bǔ)償問(wèn)題對(duì)其進(jìn)行了一些調(diào)整:

(1)如§2所述,數(shù)據(jù)增強(qiáng)會(huì)破壞投影儀,相機(jī)和投影表面的強(qiáng)耦合,因此,我們禁用裁剪,調(diào)整大小和翻轉(zhuǎn),從而在相機(jī),表面和投影儀圖像之間進(jìn)行耦合。

(2)我們訓(xùn)練pix2pix模型時(shí)批量大小設(shè)置為1并進(jìn)行10000次迭代,這大約需要10分鐘。比較結(jié)果表明,我們的方法在此任務(wù)上的表現(xiàn)優(yōu)于pix2pix。我們發(fā)現(xiàn),當(dāng)數(shù)據(jù)大小增加時(shí),TPS textured獲得略微增加的SSIM并略微降低的PSNR。當(dāng)訓(xùn)練數(shù)據(jù)大小為250時(shí), Pix2pix顯示最低的PSNR和SSIM,當(dāng)訓(xùn)練數(shù)據(jù)大小為500時(shí)其具有最高的PSNR和SSIM。當(dāng)訓(xùn)練數(shù)據(jù)大小從125增加到500時(shí),只有建CompenNet實(shí)現(xiàn)更高的PSNR和SSIM(表1)。盡管CompenNet的性能有所提高,但大數(shù)據(jù)量的缺點(diǎn)是增加了數(shù)據(jù)捕獲時(shí)間。實(shí)際上,拍攝數(shù)百?gòu)埐蓸訄D像非常耗時(shí),因此,針對(duì)有限的訓(xùn)練對(duì)和訓(xùn)練時(shí)間時(shí),我們提出了一種預(yù)訓(xùn)練模型,其性能優(yōu)于默認(rèn)模型(§5.3)。除了上述的現(xiàn)有技術(shù),我們還測(cè)試了不基于模型的“連續(xù)反饋的優(yōu)化”方法,并發(fā)現(xiàn)它運(yùn)作良好。然而,它的缺點(diǎn)是每個(gè)單幀都需要采集幾個(gè)真實(shí)的投影,捕獲和迭代。因此,該方法不太實(shí)用,也不能用于替代評(píng)估基準(zhǔn)。

5.2 表面圖像的有效性

為了展示我們提出的基于學(xué)習(xí)的問(wèn)題定義和投影表面圖是模型的一個(gè)必要輸入,我們比較了沒(méi)有表面圖輸入和相應(yīng)的自動(dòng)編碼器子網(wǎng)的CompenNet,我們將其命名為CompenNet w/o surf。結(jié)果如表1所示。首先,當(dāng)模型輸入(CompenNet)中包含~s時(shí),我們可以看到PSNR和SSIM的明顯增加以及RMSE的下降。這表明我們基于學(xué)習(xí)的公式比忽略表面圖像中編碼的重要信息的模型具有明顯的優(yōu)勢(shì)。其次,在PSNR, RMSE和SSIM指標(biāo)上,即使CompenNet w/o surf沒(méi)有~s也優(yōu)于TPS,TPS textured和pix2pix。值得注意的是,對(duì)于新的投影環(huán)境設(shè)置,僅僅更換表面圖像效果不佳,我們必須要從頭開(kāi)始訓(xùn)練新的CompenNet。幸運(yùn)的是,通過(guò)預(yù)先訓(xùn)練的模型,我們可以從合理的初始化中進(jìn)行微調(diào),以減少訓(xùn)練圖像的數(shù)量和訓(xùn)練時(shí)間。

5.3 預(yù)先訓(xùn)練的模型的有效性

我們比較默認(rèn)的CompenNet模型(使用He 的初始化),和用投射到白色表面的500個(gè)訓(xùn)練對(duì)預(yù)訓(xùn)練的模型。然后,我們?cè)诙鄠€(gè)不同設(shè)置下訓(xùn)練和評(píng)估的兩個(gè)模型。

圖4:不同表面上TPS ,TPS textured,pix2pix 和CompenNet的比較。 第1列是相機(jī)捕獲的投影表面。 第二列是相機(jī)捕獲的未補(bǔ)償投影圖像。 第3至第6列是不同方法的相機(jī)拍攝到的補(bǔ)償結(jié)果。最后一列是投影儀輸入圖的真值。 每個(gè)圖像都配有兩個(gè)放大的小圖,以便進(jìn)行詳細(xì)比較。 當(dāng)使用各種紋理圖像進(jìn)行訓(xùn)練時(shí),TPS比使用純色圖像的原始版本產(chǎn)生更好的結(jié)果,但仍然存在硬邊緣,塊狀效果和顏色錯(cuò)誤。 與CompenNet相比,pix2pix會(huì)產(chǎn)生不平滑的像素化細(xì)節(jié)和顏色錯(cuò)誤。

圖5:CompenNet的定性比較,訓(xùn)練損失函數(shù)分別為L(zhǎng)1,L2,SSIM和1 + SSIM。 它表明,L1和L2損失函數(shù)無(wú)法成功地補(bǔ)償表面圖案。 1 + SSIM和SSIM損失函數(shù)產(chǎn)生類(lèi)似的結(jié)果,但SSIM放大圖中的水比1+ SSIM和真值的更藍(lán)。

為了證明預(yù)訓(xùn)練模型在有限的訓(xùn)練對(duì)和訓(xùn)練時(shí)間內(nèi)獲得改進(jìn)的性能,我們僅使用32個(gè)訓(xùn)練對(duì)和500次迭代訓(xùn)練模型。 結(jié)果報(bào)告在表2中。顯然,我們看到預(yù)訓(xùn)練的模型優(yōu)于默認(rèn)CompenNet即使是24個(gè)訓(xùn)練和評(píng)估設(shè)置也有不同的照明和表面紋理作為預(yù)先訓(xùn)練的設(shè)置。 我們的解釋是,盡管表面具有不同的外觀,但預(yù)訓(xùn)練模型已經(jīng)學(xué)習(xí)了部分輻射傳遞函數(shù)

表1:補(bǔ)償算法的定量比較。 結(jié)果在K = 24個(gè)不同設(shè)置上取平均值。

這種預(yù)先訓(xùn)練的模型使我們的方法更加實(shí)用,即,只要不改變投影儀和相機(jī),就可以用更少的訓(xùn)練圖像快速微調(diào)預(yù)訓(xùn)練模型,從而縮短圖像捕獲和訓(xùn)練時(shí)間。 另外用32個(gè)訓(xùn)練對(duì)和500此迭代訓(xùn)練的CompenNet,比表1中的TPS ,TPS textured和pix2pix 表現(xiàn)更好。此外,CompenNet的參數(shù)(1M)比pix2pix的默認(rèn)生成網(wǎng)絡(luò)(54M參數(shù))少得多。 這進(jìn)一步證實(shí)了投影儀補(bǔ)償是一個(gè)復(fù)雜的問(wèn)題,并且不同于一般的圖到圖遷移任務(wù),精心設(shè)計(jì)的模型是解決該問(wèn)題所必需的。

5.4 不同損失函數(shù)的比較

現(xiàn)有的傳統(tǒng)工作用逐像素L2損失函數(shù)來(lái)線性/非線性回歸得到復(fù)合輻射傳遞函數(shù),這種損失函數(shù)會(huì)過(guò)度平滑結(jié)構(gòu)細(xì)節(jié)的同時(shí)懲罰大的像素誤差。我們研究了四種不同的損失函數(shù),即逐像素L1損失,逐像素L2損失,SSIM損失和1 + SSIM損失。定性和定量比較分別如圖5和表3所示。與SSIM損失函數(shù)相比,逐像素L1和L2損失函數(shù)不能很好地補(bǔ)償表面圖案,注意圖5中紅色放大的圖中的硬邊緣。與定性結(jié)果一致,表3中也顯示出逐像素L1和L2損失函數(shù)明顯缺點(diǎn)。雖然僅實(shí)用SSIM損失可以獲得最佳的SSIM值,但其PSNR和RMSE是第二差的。經(jīng)過(guò)我們的全面實(shí)驗(yàn),我們發(fā)現(xiàn)1 + SSIM損失獲得了最佳的PSNR / RMSE和第二好的SSIM,因此,我們選擇它作為我們的CompenNet的損失函數(shù)。此外,即使我們用逐像素L1損失訓(xùn)練CompenNet,它也比TPS,TPS textured和pix2pix在三個(gè)指標(biāo)上好,這進(jìn)一步說(shuō)明了我們針對(duì)任務(wù)設(shè)計(jì)的公式和網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢(shì)。

表2:使用He方法隨機(jī)初始化的CompenNet和預(yù)訓(xùn)練的CompenNet之間的定量比較,兩者均僅使用32個(gè)樣本訓(xùn)練,500次迭代,批次大小為32,訓(xùn)練耗時(shí)大約170s。

表3:不同損失函數(shù)下CompenNet的定量比較。

5.5 缺點(diǎn)和不足

我們專(zhuān)注于為投影儀補(bǔ)償問(wèn)題引入第一個(gè)端到端解決方案,該方法可用于平面的,不一定是理想的反射/幾何質(zhì)量的投影表面。此外,我們還沒(méi)有針對(duì)具有特殊反射性能的表面,比如水,強(qiáng)光反射,幾何相互反射和半光澤的表面進(jìn)行實(shí)驗(yàn),因此在這些情況下我們的模型可能效果不佳。

6. 結(jié)論

在本文中,我們將投影儀補(bǔ)償問(wèn)題重新表述為一個(gè)學(xué)習(xí)問(wèn)題,并提出一個(gè)名為CompenNet的精確實(shí)用的端到端解決方案。特別是,CompenNet明確捕獲了環(huán)境,投影表面和投影儀圖像之間復(fù)雜的光譜相互作用。我們的數(shù)學(xué)模型和架構(gòu)的有效性得到了綜合評(píng)估的驗(yàn)證。此外,我們首次為社區(qū)提供了一種新穎的獨(dú)立于設(shè)置的評(píng)估基準(zhǔn)數(shù)據(jù)集。我們的方法在該基準(zhǔn)測(cè)試中得到了仔細(xì)評(píng)估,結(jié)果表明,我們的端到端學(xué)習(xí)解決方案在質(zhì)量和定量上都超過(guò)了現(xiàn)有方法。為了使我們的模型更加實(shí)用,我們提出了一種預(yù)訓(xùn)練方法,它更增加了我們方法相對(duì)于現(xiàn)有工作的優(yōu)勢(shì)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:亮風(fēng)臺(tái)新提端到端AR投影光學(xué)補(bǔ)償算法 | CVPR 2019 Oral

文章出處:【微信號(hào):rgznai100,微信公眾號(hào):rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    詳解深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用

    在如今的網(wǎng)絡(luò)時(shí)代,錯(cuò)綜復(fù)雜的大數(shù)據(jù)和網(wǎng)絡(luò)環(huán)境,讓傳統(tǒng)信息處理理論、人工智能與人工神經(jīng)網(wǎng)絡(luò)都面臨巨大的挑戰(zhàn)。近些年,深度學(xué)習(xí)逐漸走進(jìn)人們的視線
    的頭像 發(fā)表于 01-11 10:51 ?1852次閱讀
    詳解深度<b class='flag-5'>學(xué)習(xí)</b>、<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>與<b class='flag-5'>卷積</b><b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的應(yīng)用

    基于賽靈思FPGA的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)設(shè)計(jì)

    FPGA 上實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò) (CNN)。CNN 是類(lèi)深度神經(jīng)網(wǎng)絡(luò),在處理大規(guī)模圖像識(shí)別任務(wù)以及與機(jī)器學(xué)習(xí)類(lèi)似的其他問(wèn)題方面已大獲成功。
    發(fā)表于 06-19 07:24

    卷積神經(jīng)網(wǎng)絡(luò)如何使用

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)究竟是什么,鑒于神經(jīng)網(wǎng)絡(luò)在工程上經(jīng)歷了曲折的歷史,您為什么還會(huì)在意它呢? 對(duì)于這些非常中肯的問(wèn)題,我們似乎可以給出相對(duì)簡(jiǎn)明的答案。
    發(fā)表于 07-17 07:21

    卷積神經(jīng)網(wǎng)絡(luò)—深度卷積網(wǎng)絡(luò):實(shí)例探究及學(xué)習(xí)總結(jié)

    《深度學(xué)習(xí)工程師-吳恩達(dá)》03卷積神經(jīng)網(wǎng)絡(luò)—深度卷積網(wǎng)絡(luò):實(shí)例探究 學(xué)習(xí)總結(jié)
    發(fā)表于 05-22 17:15

    卷積神經(jīng)網(wǎng)絡(luò)CNN介紹

    【深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)CNN
    發(fā)表于 06-14 18:55

    解析深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)原理與視覺(jué)實(shí)踐

    解析深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)原理與視覺(jué)實(shí)踐
    發(fā)表于 06-14 22:21

    卷積神經(jīng)網(wǎng)絡(luò)卷積的處理過(guò)程

    。本文就以卷積神經(jīng)網(wǎng)絡(luò)為例談?wù)勗趺?b class='flag-5'>來(lái)進(jìn)步優(yōu)化卷積神經(jīng)網(wǎng)
    發(fā)表于 12-23 06:16

    卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用

    卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用轉(zhuǎn)載****地址:http://fcst.ceaj.org/CN/abstract/abstract2521.shtml深度學(xué)習(xí)是機(jī)器學(xué)習(xí)和人工智能研究的最新
    發(fā)表于 08-02 10:39

    卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介:什么是機(jī)器學(xué)習(xí)?

    列文章將只關(guān)注卷積神經(jīng)網(wǎng)絡(luò) (CNN)。CNN的主要應(yīng)用領(lǐng)域是輸入數(shù)據(jù)中包含的對(duì)象的模式識(shí)別和分類(lèi)。CNN是種用于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)。
    發(fā)表于 02-23 20:11

    什么是神經(jīng)網(wǎng)絡(luò)?什么是卷積神經(jīng)網(wǎng)絡(luò)

    在介紹卷積神經(jīng)網(wǎng)絡(luò)之前,我們先回顧神經(jīng)網(wǎng)絡(luò)的基本知識(shí)。就目前而言,神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)算法的核
    的頭像 發(fā)表于 02-23 09:14 ?3314次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)通俗理解

    卷積神經(jīng)網(wǎng)絡(luò)通俗理解 卷積神經(jīng)網(wǎng)絡(luò),英文名為Convolutional Neural Network,成為了當(dāng)前深度
    的頭像 發(fā)表于 08-17 16:30 ?2610次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)原理:卷積神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)算法

    卷積神經(jīng)網(wǎng)絡(luò)原理:卷積神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)算法 卷積
    的頭像 發(fā)表于 08-17 16:30 ?1393次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)層級(jí)結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡(luò)卷積層講解

    卷積神經(jīng)網(wǎng)絡(luò)層級(jí)結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡(luò)卷積層講解 卷積神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 08-21 16:49 ?7296次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的介紹 什么是卷積神經(jīng)網(wǎng)絡(luò)算法

    的深度學(xué)習(xí)算法。CNN模型最早被提出是為了處理圖像,其模型結(jié)構(gòu)中包含卷積層、池化層和全連接層等關(guān)鍵技術(shù),經(jīng)過(guò)多個(gè)卷積層和池化層的處理,CNN可以提取出圖像中的特征信息,從而對(duì)圖像進(jìn)行分類(lèi)。
    的頭像 發(fā)表于 08-21 16:49 ?1805次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)的作用

    起著至關(guān)重要的作用,它們可以增加網(wǎng)絡(luò)的非線性,提高網(wǎng)絡(luò)的表達(dá)能力,使網(wǎng)絡(luò)能夠學(xué)習(xí)到更加復(fù)雜的特征。本文將詳細(xì)介紹
    的頭像 發(fā)表于 07-03 09:18 ?688次閱讀