0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

無(wú)監(jiān)督深度學(xué)習(xí)實(shí)現(xiàn)單次非相干全息3D成像

西安中科微星 ? 來(lái)源:西安中科微星 ? 作者:西安中科微星 ? 2024-05-13 17:38 ? 次閱讀

論文信息

wKgaomZB3wiAJNoBAACtLaxe5kM454.png

背景引入

數(shù)字全息術(shù)因其能夠從單一視點(diǎn)對(duì)3D場(chǎng)景進(jìn)行成像而備受關(guān)注。與直接成像相比,數(shù)字全息是一種間接的多步驟成像過(guò)程,包括光學(xué)記錄全息圖和數(shù)值計(jì)算重建,為包括深度學(xué)習(xí)在內(nèi)的計(jì)算成像方法提供了廣泛的應(yīng)用場(chǎng)景。近年來(lái),非相干數(shù)字全息術(shù)因其成像分辨率高,無(wú)散斑噪聲和邊緣效應(yīng),低成本等優(yōu)點(diǎn)而備受關(guān)注。目前,非相干全息術(shù)已被應(yīng)用于孔徑成像、超分辨成像、大景深成像和晶格光片顯微成像。

近年來(lái),深度學(xué)習(xí)已被應(yīng)用于非相干數(shù)字全息術(shù)。然而,目前所有的報(bào)告都是基于數(shù)據(jù)驅(qū)動(dòng)的監(jiān)督學(xué)習(xí)方法,這些方法需要大量的配對(duì)標(biāo)記數(shù)據(jù),并且存在泛化不足等問(wèn)題。為了解決上述挑戰(zhàn),本文提出了一種無(wú)訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗(yàn)的單次非相干全息自校準(zhǔn)3D重建方法,稱為SC-RUN。SC-RUN可以提高點(diǎn)擴(kuò)散函數(shù)(PSF)的保真度和信噪比,只需單個(gè)全息圖就可以實(shí)現(xiàn)3D對(duì)象的高保真度和無(wú)偽影重建。本文以無(wú)干涉編碼孔徑相關(guān)全息術(shù)(I-COACH)成像為例,清楚地展示了SC-RUN的效果。

方法原理

wKgaomZB3w-AAlvcAAERVArshiM308.png

圖1 非干涉編碼孔徑關(guān)聯(lián)全息術(shù)裝置

非相干光源的光被透鏡L1聚焦以照射物體。物體位于透鏡L2的前焦平面Z3附近,使得物體可以被認(rèn)為位于CPM的遠(yuǎn)場(chǎng)中。加載了編碼相位的SLM位于透鏡L2距離d處,SLM前加偏振片P。由于I-COACH的成像模型在強(qiáng)度上是線性空間不變,因此傳感器記錄的物體全息圖可以被視為無(wú)數(shù)個(gè)物點(diǎn)全息圖的非相干強(qiáng)度疊加,因此,可以先對(duì)一個(gè)物點(diǎn)的光場(chǎng)進(jìn)行理論分析,然后通過(guò)卷積或疊加得到多物點(diǎn)物體的成像模型。

wKgZomZB3yKAE18nAADC_2XpocQ681.png

圖2 SC-RUN—校準(zhǔn)點(diǎn)擴(kuò)散函數(shù)結(jié)構(gòu)

wKgZomZB3yiAEVZZAADu94blOWs363.png

圖3 SC-RUN—基于無(wú)訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗(yàn)的單次成像結(jié)構(gòu)

wKgZomZB3zSAL3AcAADpNWSo_CA168.png

圖4 SC-RUN—基于無(wú)訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗(yàn)的單次3D成像結(jié)構(gòu)

系統(tǒng)光路

多通道I-COACH實(shí)驗(yàn)系統(tǒng)如圖5所示,其中振幅型空間光調(diào)制器的產(chǎn)品參數(shù)如下表所示。

wKgZomZB30CAF2_GAAIHBtrSwn0443.png

圖5 I-COACH實(shí)驗(yàn)裝置

本實(shí)驗(yàn)所采用的空間光調(diào)制器為我司的TSLM07U-A,其參數(shù)規(guī)格如下:

型號(hào)
TSLM07U-A
調(diào)制類(lèi)型
振幅型
液晶類(lèi)型
透射式 灰度等級(jí) 8位,256階
像素?cái)?shù)
1920×1080
像元大小 8.5μm
有效區(qū)域
0.74"
16.3mm×9.18mm
對(duì)比度 600:1
響應(yīng)時(shí)間 上升7ms,下降20ms 開(kāi)口率
57%
刷新頻率
60Hz 光學(xué)利用率 20%@633nm
電源輸入
24V 1A&5V 1A 光譜范圍
380nm-1200nm
損傷閾值
2W/cm2 數(shù)據(jù)接口
DVI

系統(tǒng)由不同軸向平面中的兩個(gè)目標(biāo)通道組成,其中數(shù)字微鏡器件(DMD)用作通道1中的目標(biāo)1,而振幅型空間光調(diào)制器用作通道2中的目標(biāo)2。來(lái)自空間非相干發(fā)光二極管LED)的光通過(guò)聚光器收集以照射物體,然后兩個(gè)通道內(nèi)衍射的物體光通過(guò)分束棱鏡(BS1)組合并通過(guò)透鏡L進(jìn)行準(zhǔn)直。偏振片P使物光的偏振方向與純相位SLM的調(diào)制軸方向一致。最后,通過(guò)CMOS傳感器記錄由純相位SLM調(diào)制的光波。純相位SLM加載由GSA算法合成的全息圖。

實(shí)驗(yàn)結(jié)果

wKgZomZB30-AaZZuAAJvW8R_cnQ992.png

圖6 SC-RUN對(duì)PSF的校準(zhǔn)結(jié)果。a) 全息圖,b) 原始PSF,c) 使用原始PSF進(jìn)行非線性重建的結(jié)果,d) 已知對(duì)象,e) 校準(zhǔn)后的PSF,f) 使用校準(zhǔn)的PSF進(jìn)行非線性重建的結(jié)果。

wKgaomZB31mAHBBOAAQUfZZ6-ZM395.png

圖7 SC-RUN和非線性重建的2D實(shí)驗(yàn)結(jié)果

wKgZomZB32KASv6UAAFpm-TFt1M636.png

圖8 SC-RUN和非線性重建的3D實(shí)驗(yàn)結(jié)果

以上實(shí)驗(yàn)結(jié)果表明,SC-RUN在I-COACH上表現(xiàn)良好,從而說(shuō)明預(yù)先校準(zhǔn)PSF,然后通過(guò)神經(jīng)網(wǎng)絡(luò)重建對(duì)象的這一策略具有很大的潛力。目前,許多光學(xué)成像技術(shù)都是通過(guò)設(shè)計(jì)專(zhuān)門(mén)的PSF來(lái)實(shí)現(xiàn)的。例如,通過(guò)波前編碼生成亞衍射極限點(diǎn)PSF,以實(shí)現(xiàn)超分辨率成像。類(lèi)似地,通過(guò)使用波前編碼使PSF對(duì)錯(cuò)誤聚焦不敏感,可以擴(kuò)展成像深度。對(duì)于其他信息,如物體的深度、光譜和偏振,可以編碼到PSF中來(lái)增加成像維度。上述計(jì)算成像技術(shù)在很大程度上依賴于PSF的先驗(yàn)信息,并且SC-RUN允許獲得高保真度、高信噪比的PSF。因此,當(dāng)已知前向算子時(shí),可以獲得極好的重建結(jié)果。此外,由于SC-RUN在不需要數(shù)據(jù)集和標(biāo)簽的情況下強(qiáng)制測(cè)量一致性,并且考慮到大多數(shù)成像任務(wù)涉及具有已知正向算子的一個(gè)或多個(gè)逆求解模型,SC-RUN可以容易地應(yīng)用于各種其他成像任務(wù)。

論文總結(jié)

本文提出了一種通用的無(wú)監(jiān)督的非相干全息3D重建框架SC-RUN,它結(jié)合了非線性重建方法的物理知識(shí)和前向成像模型,通過(guò)具有額外物理約束的神經(jīng)網(wǎng)絡(luò)執(zhí)行重建任務(wù)。SC-RUN同時(shí)考慮了時(shí)間分辨率和保真度,具有良好的魯棒性,并且不需要太多標(biāo)記的數(shù)據(jù)驅(qū)動(dòng)信息。此外,實(shí)驗(yàn)結(jié)果表明,首次在非相干全息術(shù)中實(shí)現(xiàn)了具有強(qiáng)度變化的復(fù)雜物體的高保真度重建。SC-RUN通常適用于各種光學(xué)配置,并易于適應(yīng)其他成像任務(wù)。此外,SC-RUN對(duì)超分辨率成像、孔徑成像、景深擴(kuò)展成像和多維信息復(fù)用等領(lǐng)域具有廣泛潛力,為獲得動(dòng)態(tài)光場(chǎng)的多維信息鋪平了道路。

文章鏈接:https://doi.org/10.1002/lpor.202301091

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2852

    瀏覽量

    107267
  • 成像
    +關(guān)注

    關(guān)注

    2

    文章

    229

    瀏覽量

    30440
  • 3D成像
    +關(guān)注

    關(guān)注

    0

    文章

    98

    瀏覽量

    16031
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5463

    瀏覽量

    120890
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    傅里葉光場(chǎng)顯微成像技術(shù)—2D顯微鏡實(shí)現(xiàn)3D成像

    近年來(lái),光場(chǎng)顯微技術(shù)的應(yīng)用越來(lái)越廣泛,針對(duì)光場(chǎng)顯微鏡的改進(jìn)和優(yōu)化也不斷出現(xiàn)。目前市場(chǎng)各大品牌的2D顯微鏡比比皆是,如何在其基礎(chǔ)上實(shí)現(xiàn)三維成像一直是成像領(lǐng)域的熱門(mén)話題,本次主要討論
    的頭像 發(fā)表于 10-31 08:05 ?199次閱讀
    傅里葉光場(chǎng)顯微<b class='flag-5'>成像</b>技術(shù)—2<b class='flag-5'>D</b>顯微鏡<b class='flag-5'>實(shí)現(xiàn)</b><b class='flag-5'>3D</b><b class='flag-5'>成像</b>

    神經(jīng)網(wǎng)絡(luò)如何用無(wú)監(jiān)督算法訓(xùn)練

    神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要組成部分,其訓(xùn)練方式多樣,其中無(wú)監(jiān)督學(xué)習(xí)是一種重要的訓(xùn)練策略。無(wú)監(jiān)督學(xué)習(xí)
    的頭像 發(fā)表于 07-09 18:06 ?677次閱讀

    深度學(xué)習(xí)中的無(wú)監(jiān)督學(xué)習(xí)方法綜述

    應(yīng)用中往往難以實(shí)現(xiàn)。因此,無(wú)監(jiān)督學(xué)習(xí)深度學(xué)習(xí)中扮演著越來(lái)越重要的角色。本文旨在綜述深度
    的頭像 發(fā)表于 07-09 10:50 ?385次閱讀

    全息投影空中成像原理是什么

    、廣告、展覽、教育、醫(yī)療等領(lǐng)域。 一、全息投影空中成像原理 1.1 全息技術(shù)概述 全息技術(shù)是一種利用光的干涉和衍射原理記錄和再現(xiàn)物體的三維信息的技術(shù)。
    的頭像 發(fā)表于 07-08 11:02 ?1336次閱讀

    奧比中光攜多款3D相機(jī)深度參與國(guó)內(nèi)3D視覺(jué)最高規(guī)格會(huì)議

    4月19日-21日,國(guó)內(nèi)3D視覺(jué)最高規(guī)格會(huì)議China 3DV 2024大會(huì)在深圳舉行。奧比中光作為大會(huì)鉑金贊助商,攜多款不同技術(shù)路線的3D相機(jī)深度參與。
    的頭像 發(fā)表于 04-24 09:26 ?407次閱讀
    奧比中光攜多款<b class='flag-5'>3D</b>相機(jī)<b class='flag-5'>深度</b>參與國(guó)內(nèi)<b class='flag-5'>3D</b>視覺(jué)最高規(guī)格會(huì)議

    基于深度學(xué)習(xí)的方法在處理3D點(diǎn)云進(jìn)行缺陷分類(lèi)應(yīng)用

    背景部分介紹了3D點(diǎn)云應(yīng)用領(lǐng)域中公開(kāi)可訪問(wèn)的數(shù)據(jù)集的重要性,這些數(shù)據(jù)集對(duì)于分析和比較各種模型至關(guān)重要。研究人員專(zhuān)門(mén)設(shè)計(jì)了各種數(shù)據(jù)集,包括用于3D形狀分類(lèi)、3D物體檢測(cè)和3D點(diǎn)云分割等任
    的頭像 發(fā)表于 02-22 16:16 ?957次閱讀
    基于<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的方法在處理<b class='flag-5'>3D</b>點(diǎn)云進(jìn)行缺陷分類(lèi)應(yīng)用

    中國(guó)科研團(tuán)隊(duì)突破全息3D顯示技術(shù)

    全息顯示技術(shù)為真正的3D顯示提供了終極解決方案,在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)方面具有巨大的潛力。然而,全息3D顯示的顏色和視角主要取決于激光的波長(zhǎng)和當(dāng)前空間光調(diào)制器的像素尺寸。
    發(fā)表于 01-26 12:45 ?644次閱讀
    中國(guó)科研團(tuán)隊(duì)突破<b class='flag-5'>全息</b><b class='flag-5'>3D</b>顯示技術(shù)

    高精度彩色3D相機(jī):開(kāi)啟嶄新的彩色3D成像時(shí)代

    近年來(lái),機(jī)器人技術(shù)的快速發(fā)展促使對(duì)3D相機(jī)技術(shù)的需求不斷增加,原因在于,相機(jī)在提高機(jī)器人的性能和實(shí)現(xiàn)多種功能方面發(fā)揮了決定性作用。
    的頭像 發(fā)表于 01-15 14:09 ?475次閱讀
    高精度彩色<b class='flag-5'>3D</b>相機(jī):開(kāi)啟嶄新的彩色<b class='flag-5'>3D</b><b class='flag-5'>成像</b>時(shí)代

    面向3D增強(qiáng)現(xiàn)實(shí)(AR)眼鏡的波導(dǎo)全息顯示

    同時(shí),全息顯示技術(shù)被認(rèn)為是終極的3D顯示方案,其利用空間光調(diào)制器(SLM)來(lái)調(diào)制光的波前,還提供了其它獨(dú)特優(yōu)勢(shì),例如無(wú)像差、高分辨率圖像、每像素深度控制、眼視差深度提示、視力校正功能以
    的頭像 發(fā)表于 01-14 10:23 ?960次閱讀
    面向<b class='flag-5'>3D</b>增強(qiáng)現(xiàn)實(shí)(AR)眼鏡的波導(dǎo)<b class='flag-5'>全息</b>顯示

    友思特分享 | 高精度彩色3D相機(jī):開(kāi)啟嶄新的彩色3D成像時(shí)代

    3D成像的新時(shí)代 近年來(lái),機(jī)器人技術(shù)的快速發(fā)展促使對(duì)3D相機(jī)技術(shù)的需求不斷增加,原因在于,相機(jī)在提高機(jī)器人的性能和實(shí)現(xiàn)多種功能方面發(fā)揮了決定性作用。然而,其中許多應(yīng)用所需的解決方案更復(fù)
    的頭像 發(fā)表于 01-11 09:57 ?383次閱讀
    友思特分享 | 高精度彩色<b class='flag-5'>3D</b>相機(jī):開(kāi)啟嶄新的彩色<b class='flag-5'>3D</b><b class='flag-5'>成像</b>時(shí)代

    兩種應(yīng)用于3D對(duì)象檢測(cè)的點(diǎn)云深度學(xué)習(xí)方法

    是標(biāo)準(zhǔn) RGB 圖像與其關(guān)聯(lián)的“深度圖”的組合,目前由 Kinect 或英特爾實(shí)感技術(shù)使用。3D 數(shù)據(jù)可以對(duì)傳感器周?chē)h(huán)境進(jìn)行豐富的空間表示,并可應(yīng)用于機(jī)器人、智能家居設(shè)備、無(wú)人駕駛汽車(chē)或醫(yī)學(xué)成像。
    的頭像 發(fā)表于 01-03 10:32 ?866次閱讀
    兩種應(yīng)用于<b class='flag-5'>3D</b>對(duì)象檢測(cè)的點(diǎn)云<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>方法

    深度解析3D視覺(jué)成像幾種典型方案

    類(lèi)似于ToF相機(jī)、光場(chǎng)相機(jī)這類(lèi)相機(jī),可以歸類(lèi)為單相機(jī)3D成像范圍,它們體積小,實(shí)時(shí)性好,適合Eye-in-Hand系統(tǒng)執(zhí)行3D測(cè)量、定位和實(shí)時(shí)引導(dǎo)。
    發(fā)表于 12-05 12:24 ?884次閱讀
    <b class='flag-5'>深度</b>解析<b class='flag-5'>3D</b>視覺(jué)<b class='flag-5'>成像</b>幾種典型方案

    深度學(xué)習(xí)神器DYnet++:輕松駕馭復(fù)雜自由曲面,3D測(cè)量無(wú)難度!

    利用深度學(xué)習(xí)網(wǎng)絡(luò)模型DYnet++從單個(gè)復(fù)合圖案中獲取相位信息。為了訓(xùn)練深度學(xué)習(xí)模型,作者使用了一個(gè)具有九個(gè)致動(dòng)器的可變形鏡來(lái)生成各種表面形狀的大量數(shù)據(jù)。通過(guò)將測(cè)量結(jié)果與16步相移法的
    的頭像 發(fā)表于 12-04 15:29 ?582次閱讀
    <b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>神器DYnet++:輕松駕馭復(fù)雜自由曲面,<b class='flag-5'>3D</b>測(cè)量<b class='flag-5'>無(wú)</b>難度!

    動(dòng)態(tài)場(chǎng)景下的自監(jiān)督深度估計(jì)方案

    監(jiān)督深度估計(jì)的訓(xùn)練可以在大量無(wú)標(biāo)簽視頻序列來(lái)進(jìn)行,訓(xùn)練集獲取很方便。但問(wèn)題是,實(shí)際采集的視頻序列往往會(huì)有很多動(dòng)態(tài)物體,而自監(jiān)督訓(xùn)練本身
    發(fā)表于 11-28 09:21 ?649次閱讀
    動(dòng)態(tài)場(chǎng)景下的自<b class='flag-5'>監(jiān)督</b><b class='flag-5'>單</b>目<b class='flag-5'>深度</b>估計(jì)方案

    基于深度學(xué)習(xí)3D點(diǎn)云實(shí)例分割方法

    3D實(shí)例分割(3DIS)是3D領(lǐng)域深度學(xué)習(xí)的核心問(wèn)題。給定由點(diǎn)云表示的 3D 場(chǎng)景,我們尋求為每
    發(fā)表于 11-13 10:34 ?2106次閱讀
    基于<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的<b class='flag-5'>3D</b>點(diǎn)云實(shí)例分割方法