偏振為何能夠?qū)崿F(xiàn)三維成像？偏振三維成像的原理是什么

隨著機器視覺、VR/AR、元宇宙技術(shù)的發(fā)展，三維成像與顯示越來越受到重視。目前，三維成像的技術(shù)有很多，從諾貝爾物理獎獲得者Gabor提出的全息成像，到雙目立體視覺、結(jié)構(gòu)光三維成像、激光雷達(dá)三維成像和偏振三維成像，經(jīng)歷了半個多世紀(jì)。 嚴(yán)格地講，真正的三維成像只有全息成像技術(shù)，我們可以從不同角度看到物體的三維形貌，而其他所謂的三維成像應(yīng)該是三維形貌重建，不能滿足大范圍、多角度的觀看。

因為已經(jīng)叫習(xí)慣了，學(xué)界也慢慢“被迫”接受了這種叫法，因此，在本篇中，我們都稱之為三維成像，不再加以區(qū)分。 這些成像技術(shù)，除了雙目立體視覺和偏振成像屬于被動成像技術(shù)，不需要主動照明，其他的都是主動成像，需要特殊的主動照明方法。主動照明受制于作用距離和環(huán)境條件的限制，很多場景難以應(yīng)用。被動成像具有隱蔽性好、受外界干擾小的特點，如果還能夠?qū)崿F(xiàn)遠(yuǎn)距離、高分辨率的成像，那無疑是最好的選擇，應(yīng)用范圍更廣，具有更好的前景。

建立在幾何光學(xué)基礎(chǔ)上的光學(xué)成像技術(shù)，在成像過程中，將三維的空間映射到了一個平面上，自然丟失了z軸方向上的距離（深度）信息。那么，三維成像當(dāng)然是要找到那個丟失的維度，這自然要付出代價。我們就來先看看尋找另一個維度的代價吧。

1

尋找另一個維度的代價

Radar（Radio Detection and Ranging），這是雷達(dá)的縮寫，最后的那個Ranging告訴我們，這個遠(yuǎn)距離探測、成像技術(shù)可以獲得距離，因此，可以用來測距和定位，并且雷達(dá)波（微波）的遠(yuǎn)距離傳輸特點，可以實現(xiàn)非常遠(yuǎn)距離的探測。如果把微波替換成光波，由Radar變成Lidar（Light Detection and Ranging），就是我們常說的激光雷達(dá)，豈不是很好？ 當(dāng)然好，只是并不一定很好，原因是激光雷達(dá)的空間分辨率還比較低，多受制于掃描機制，遠(yuǎn)距離也難以實現(xiàn)，當(dāng)然，遠(yuǎn)距離受制最主要的原因是光波傳播特性跟雷達(dá)波相比太差了，而且極易受到天氣和環(huán)境因素的影響，怕雨、怕霧、怕霾，還怕云和煙塵，感覺就像患了嚴(yán)重關(guān)節(jié)炎的病人，一旦遇到了天氣變壞，就敏感地尋死覓活。 其實，影響激光雷達(dá)的還有兩個很重要的原因：一是價格太高，很多用戶用不起；二是相干探測的特點，很容易受到外界的干擾，強光就是它不共戴天的仇敵，多個同波段的激光雷達(dá)同時同地工作，結(jié)果也可想而知。

光電成像必然走向三維，盡管尋找失去的那個維度需要付出代價，但科學(xué)家從來沒有停止過。目前，三維成像的方法主要有雙目立體視覺、全息三維成像、結(jié)構(gòu)光三維成像、散射三維成像和偏振三維成像等，雙目立體視覺是建立在幾何光學(xué)的基礎(chǔ)上的，而其他方面的模型是物理光學(xué)。下面，我們來一一分析。

雙目立體視覺

人類的雙目視覺是是天生的三維立體成像典范。人以左右眼看同一對象，由于兩眼所見角度不同，在視網(wǎng)膜上形成的像并不完全相同，當(dāng)這兩個像經(jīng)過大腦綜合以后就能區(qū)分物體的前后、遠(yuǎn)近關(guān)系，從而產(chǎn)生立體視覺。注意，是經(jīng)過大腦綜合后形成立體視覺，這就是說，雙目立體視覺是經(jīng)過“計算”完成的，那么，在數(shù)學(xué)上，該怎么解釋？

雙目視覺是建立在幾何光學(xué)基礎(chǔ)上的，核心是幾何代數(shù)運算。假設(shè)雙目視覺中的左右兩個相機位于同一平面（光軸平行），且相機參數(shù)（如焦距f）一致。

理想雙目相機成像模型(y軸垂直于該平面)

y方向高度點一致

如圖所示，根據(jù)三角形相似定律：

解方程得：

根據(jù)上述推導(dǎo)，空間點P離相機的距離（深度）

，

可以發(fā)現(xiàn)如果要計算深度z，必須要知道： （1）相機焦距f，左右相機基線b。這些參數(shù)可以通過先驗信息或者相機標(biāo)定得到。

（2）視差d。需要知道左相機的每個像素點()和右相機中對應(yīng)點()的對應(yīng)關(guān)系。 這是雙目視覺的核心數(shù)學(xué)問題，純粹的幾何光學(xué)，正是如此，雙目視覺的深度分辨率必然不會高，尤其是遠(yuǎn)距離的情況，我們完全可以從深度的公式分析出來。

全息三維成像

全息三維成像通過將含有目標(biāo)信息的物光波與無目標(biāo)信息的參考光波進行干涉，得到干涉全息圖。通過對全息圖的再現(xiàn)，獲取物光波中攜帶的相位信息，最后通過相位與目標(biāo)深度之間的關(guān)系，得到目標(biāo)三維圖像。全息技術(shù)將目標(biāo)相位信息通過干涉條紋記錄下來，在獲取強度信息的同時，得到物光相位信息。在全息三維成像中，物光和參考光分別表示為：

其中，為經(jīng)目標(biāo)物體調(diào)制后的相位項，包含了目標(biāo)的三維信息。當(dāng)對記錄得到的全息圖進行重建后，此時的光場復(fù)振幅分布可近似表示為：



式中第三、四項分別包含了原始物光波的復(fù)振幅分布及其共軛復(fù)振幅分布。通過在空間中對再現(xiàn)像和共軛像進行分離，獲取原始物光波的復(fù)振幅分布。

全息三維成像

結(jié)構(gòu)光三維成像

另一種利用載波條紋實現(xiàn)三維成像的技術(shù)是結(jié)構(gòu)光三維成像。結(jié)構(gòu)光三維成像與全息技術(shù)類似，也是對條紋進行解譯。不同點是全息技術(shù)是對干涉條紋進行解譯，結(jié)構(gòu)光三維成像是對經(jīng)目標(biāo)表面調(diào)制的投影條紋的解譯。結(jié)構(gòu)光三維成像將生成的正弦條紋投影到待測目標(biāo)表面，通過記錄并解調(diào)經(jīng)目標(biāo)表面調(diào)制后的正弦條紋，獲取目標(biāo)在不同空間位置的相位分布，最后根據(jù)相位與高度之間的關(guān)系實現(xiàn)目標(biāo)三維信息的獲取。投影到目標(biāo)表面的正弦條紋可以表示為：

其中a為背景光強，b為相機拍攝條紋的調(diào)制量，?（x,y）為受物體高度調(diào)制后的相位。通過多組條紋投影，可通過聯(lián)立方程組實現(xiàn)相位信息的解譯。

散射三維成像

除了上述介紹的兩種方法外，利用散射介質(zhì)也能夠?qū)崿F(xiàn)目標(biāo)的三維成像。由于散射介質(zhì)的隨機特性，不同深度目標(biāo)點間的PSF互不相同。因此，目標(biāo)的三維信息通過散射介質(zhì)被編碼到散斑中，通過對不同目標(biāo)物形成的散斑圖進行反卷積重建就能實現(xiàn)三維物體在不同深度下信息的恢復(fù)，此時，目標(biāo)的三維分布可以表示為：

本質(zhì)上，散射三維成像技術(shù)屬于結(jié)構(gòu)光三維成像，只是這個結(jié)構(gòu)光具有特殊性。 三維成像的手段有很多，但被動、單相機能實現(xiàn)三維成像的目前只有神經(jīng)網(wǎng)絡(luò)和偏振成像的方法，而神經(jīng)網(wǎng)絡(luò)是一種估計、強統(tǒng)計方法，準(zhǔn)確性受訓(xùn)練樣本影響大，那偏振為什么能三維成像呢？本篇將從偏振度和偏振角到物體表面法線講起，剖析偏振三維成像的機理，分析影響偏振三維成像精度的因素，從原理到應(yīng)用，展開深度分析。

2

偏振三維成像的原理

偏振為何能夠?qū)崿F(xiàn)三維成像？E. Wolf教授提示我們：目標(biāo)表面反射光的偏振特性與目標(biāo)表面輪廓特征有直接關(guān)系，換句話說目標(biāo)表面偏振度、偏振角的變化與表面形貌具有直接的映射關(guān)系（當(dāng)然這是在目標(biāo)材質(zhì)相同條件下而言，因為不同材質(zhì)的偏振度變化明顯）。

這就是說，如果能得到目標(biāo)的偏振信息，建立偏振特性與表面輪廓的映射關(guān)系，就可以對目標(biāo)表面進行三維重建。這個描述其實還可以更簡化：只要求解出圖像中每個像素的法向量，逐點遍歷即可重建出整個三維場景。這樣一來，那么問題就簡單了，法向量就成了偏振三維成像的關(guān)鍵。

接下來，我們按圖索驥，看看法向量怎么獲取。有兩個直接約束法向量的參量，分別是天頂角和方位角，恰好，這兩個參量與偏振度和偏振角有直接的映射關(guān)系。到這里，我們就豁然開朗了：只要有了偏振度和偏振角信息，就可以實現(xiàn)三維成像了，只需要建立起偏振度和偏振角信息與天頂角和方位角的映射關(guān)系。



那如何建立這種映射關(guān)系呢？ 首先看天頂角θ的含義：表征光線從目標(biāo)表面“出射”時，與該點微面元的夾角。這里用“出射”這個詞，其實是包含了反射和折射兩種情況，分別對應(yīng)鏡面反射面和漫反射面，也就是光滑表面和粗糙表面。對于不同表面，光波的出射情況不同，對應(yīng)的菲涅爾公式求解出射角的理論也不同。具體如下式所示：

這里r，t表示反射和透射，p，s表示p光和s光。與天頂角θ的關(guān)系如下式所示：

其中，u表示像素的坐標(biāo)矩陣。然后，我們來看方位角，它代表法向量在探測器平面上的投影與水平方向的夾角，也就是出射光波振動方向與水平方向的夾角。對于偏振而言，透過偏振片后強度最大的位置，就是光波振動的方向，因此通過旋轉(zhuǎn)一周偏振片找到強度最大的位置，就是我們要求的方位角。

Imax(u)和Imin(u)分別表示線性偏振濾光片在旋轉(zhuǎn)一周中的光強度最大值和最小值，(u)是探測器所接收到的光強曲線的初始相位角，是偏振片不同的旋轉(zhuǎn)角度。

這就很清楚了，只要有了天頂角和方位角信息之后，就能得到法線信息，就可以重建出三維形貌。在求解得到天頂角和方位角之后，利用下式，將目標(biāo)各點的法向量進行求解，值得注意的是，因為已知量不足，這里的法向量都是歸一化后的“相對”值。



當(dāng)能夠獲取到每個點的法向量信息后，其實這里就與傳統(tǒng)方法中獲取到的點云數(shù)據(jù)類似了，對于檢測、識別等任務(wù)已然能夠滿足要求。如果進一步需要較好的展示，以及需要利用面型進行進一步的處理，則僅需對法向量信息進行積分即可，積分的方法很多，有全局積分、局部積分等等，根據(jù)任務(wù)和目標(biāo)不同可以選擇最合適的方法。

3

偏振成像系統(tǒng)與偏振三維成像衛(wèi)星載荷

偏振成像系統(tǒng)

偏振光學(xué)成像系統(tǒng)主要分為：旋轉(zhuǎn)偏振片偏振成像系統(tǒng)、多孔徑偏振成像系統(tǒng)、分孔徑偏振成像系統(tǒng)、分振幅偏振成像系統(tǒng)和分焦平面偏振成像系統(tǒng)。

早期的偏振成像主要為旋轉(zhuǎn)偏振成像系統(tǒng)，通過旋轉(zhuǎn)偏振片在不同的角度依次獲取不同偏振狀態(tài)的圖像。這種成像系統(tǒng)具有結(jié)構(gòu)簡單、體積小和低成本的優(yōu)勢，但缺點在于實時性較差且旋轉(zhuǎn)偏振片容易震動造成誤差。

多孔徑偏振成像系統(tǒng)通常由多個成像光學(xué)系統(tǒng)及探測器構(gòu)成，通常采用四個單獨的光學(xué)成像系統(tǒng)和獨立的探測器獲取不同方向的Stokes矢量。該成像系統(tǒng)具有實時成像和高分辨率的成像優(yōu)勢，但其造價較高，是單一光學(xué)系統(tǒng)的四倍，光學(xué)元件多，裝配難度大，且存在亞像素位移時較難配準(zhǔn)。

分孔徑成像系統(tǒng)由四個偏心子系統(tǒng)組成，通過在孔徑光闌處分別將子系統(tǒng)光軸與中心軸偏心將整個光學(xué)系統(tǒng)分成四個成像通道。這四個通道通過共用共孔徑成像組鏡頭但放置狀態(tài)不同的偏振元件以獲取Stokes四個分量圖。分孔徑成像系統(tǒng)重量低且能夠同時獲取不同角度的偏振圖像，但是對不同距離目標(biāo)成像時需要重新配準(zhǔn)，空間分辨率較低。



分振幅偏振成像系統(tǒng)

則利用分束光學(xué)器件結(jié)合成像透鏡及多個成像探測器組成多個通道獲，在每個通道中放置不同的偏振分析儀以獲取目標(biāo) Stokes 分量圖。該偏振成像系統(tǒng)具有高分辨和實時成像的優(yōu)勢，但缺點在于光學(xué)元件多、體積大、裝配難度高和光能利用率低。



分焦平面探測器是指光電探測器和微偏振陣列的集成成像元件。微偏振陣列由幾個不同偏振角的像素化偏振器組成，以便分解入射光場，從而能夠每幀記錄前三個或四個Stokes參數(shù)。分焦平面探測器盡管相比前面所述的偏振成像系統(tǒng)體積更小、質(zhì)量更輕，但是其制備工藝的要求極高，且往往需要額外的偏振圖像插值重建工作。偏振探測器使得偏振成像技術(shù)變得更簡單，但會降低分辨率，最主要的是消光比低，Sony的可見光偏振芯片消光比為300:1，紅外芯片更低，只有30:1，消光比低帶來的代價是偏振信息的信噪比低，這需要更好的重建算法。



上述的這些方法各有優(yōu)缺點，從發(fā)展趨勢上來看，分焦平面的偏振探測器肯定會是重點，但確實還面臨著很多的問題需要解決，在以后的文章里我將詳細(xì)論述。

偏振三維成像衛(wèi)星載荷

2022年8月9日12時11分，搭載“計算偏振三維成像相機”載荷的東海一號衛(wèi)星成功發(fā)射，這標(biāo)志著我國將首次實現(xiàn)星載對地目標(biāo)的實時被動三維成像，同時代表著我國計算成像技術(shù)在空間領(lǐng)域的科學(xué)研究應(yīng)用，取得重要突破！ 在現(xiàn)有的技術(shù)體系下，從微小衛(wèi)星載荷搭載的角度上看，選擇多孔徑偏振成像系統(tǒng)是一種最優(yōu)的方法，主要是技術(shù)成熟度高，偏振片的消光比高，獲得的偏振信息具有較高的信噪比，這對后期的三維信息重建非常有幫助，下一節(jié)將重點講述。這種方法的代價是光學(xué)系統(tǒng)和探測器都是4套，體積大，重量重，成本高。

由于該偏振三維成像載荷的分辨率較低，光學(xué)系統(tǒng)體積小，成本不太高，而由這些代價能換得更高精度的偏振信息，在應(yīng)用上來講，也是值得的。 對于偏振成像而言，其實只需要3個偏振分量就可以了，所以，在本次載荷的設(shè)計中采用了0°、45°、90°三個偏振方向和無偏振的全光相機構(gòu)成。下面是載荷的技術(shù)指標(biāo)。

表 偏振三維載荷技術(shù)指標(biāo)

4

影響偏振三維成像的因素

偏振三維成像技術(shù)具有被動式、遠(yuǎn)距離高精度、實時性等特點，相較于其他三維成像方法在很多應(yīng)用場景中具有明顯優(yōu)勢，尤其是遠(yuǎn)距離上，能夠單相機拍攝384000 km外的月球三維表面，好像只有偏振三維成像能夠做到。但是該方法在求解法向量時，結(jié)果存在兩個隨機解，它們相差180°，而只有一個是正確解。因此，如何解決這種解的奇異性問題，是目前偏振三維成像技術(shù)在實際應(yīng)用中存在的最大的問題。

高精度偏振三維成像的前提當(dāng)然是獲取到更高信噪比的偏振度和偏振角信息，而偏振消光比是影響偏振信息的最重要因素。 偏振消光比是沿偏振主態(tài)方向分解的兩個正交偏振分量之間的比例關(guān)系，單位是dB。100:1意味著20 dB，10000:1意味著40 dB。對于起偏器來說，消光比越高，將輸入光變?yōu)榫€偏振光的能力就越強。

對于光源來說，消光比越高輸出光就會越接近于線偏振光。理論上線偏光的能量完全集中于一個方向上，消光比無窮大;圓偏光的能量平均分布于兩正交方向上，消光比為0；橢圓偏振光,消光比介于0和無窮之間。由于各軸上的能量都相等，非偏振光的消光比為0。實際上，40 dB消光比已經(jīng)相當(dāng)高了，低偏光源的消光比一般小于0.5 dB。 我們來看兩個數(shù)據(jù)：Thorlabs公司的偏振片消光比可達(dá)10000:1，而Sony的偏振芯片只能做到300:1。

很顯然，選用旋轉(zhuǎn)偏振片這種方式可以獲得更高信噪比的偏振圖像，偏振芯片走向應(yīng)用，在算法上還有很長的路要走。 接著，我們再來看看影響偏振的還有哪些因素。 環(huán)境光干擾是影響偏振三維成像的重要原因之一。自然場景下的偏振三維成像技術(shù)由于物體表面漫反射光偏振信息受自然條件下的大氣散射光、環(huán)境中鏡面反射光等復(fù)雜環(huán)境光的影響，使得混雜后的光同時進入探測器，導(dǎo)致目標(biāo)漫反射

光的弱偏振特性無法有效分離和精確解譯。 此外，偏振三維成像方法還基于以下幾個假設(shè)： 1)相機正投影； 2)光滑(連續(xù))物體； 3)介電(即非金屬)材料； 4)折射率已知； 5)照明由遠(yuǎn)處的點源提供； 6)表面無相互反射； 7)目標(biāo)是已知或均勻反照率； 8)光源和觀察方向不同。

無疑，在偏振三維成像發(fā)展的初級階段，這些假設(shè)條件多多少少都會影響著偏振三維成像的發(fā)展，當(dāng)然，這些也是偏振三維成像走向應(yīng)用面臨的挑戰(zhàn)，相信不久的將來，這些問題都能一一克服。

有人問：偏振三維成像的精度能達(dá)到多少？這是一個好問題?；卮疬@個問題首先要說明：偏振三維成像獲得的表面形貌是相對值，只有知道了確切的距離信息，才能換算成絕對值，而這個確切的距離信息恰恰是被動成像所缺少的。這個距離信息一般可以由相機標(biāo)定獲得，這只限于近距離，也可由雙目視覺計算獲得，當(dāng)然，還可以用激光測距雷達(dá)等手段給出。

在做偏振三維人臉成像實驗中，我們對100米外的人臉進行三維重建，精度可以達(dá)到毫米級別，即量級。這里，特別需要說明的是：這種高精度的結(jié)果需要很高的空間分辨率，像素數(shù)也要足夠高。 另外，偏振三維成像不同于雙目視覺，由于只用一個相機就可以實現(xiàn)，不存在視差這樣的問題，因此會導(dǎo)致形成的三維形貌只有一個視角方向，這在有些場景會受到應(yīng)用限制。解決辦法當(dāng)然有：多個偏振相機組合。

5

更廣闊的應(yīng)用前景

傳統(tǒng)的一些解決方法包括結(jié)合Kinect、光度立體視覺、陰影恢復(fù)法、數(shù)據(jù)優(yōu)化擬合等，在一些特定的目標(biāo)和場景下能夠得到不錯的結(jié)果。在此基礎(chǔ)上，我們針對遙感、室內(nèi)/外等真實應(yīng)用場景和目標(biāo)，研究開發(fā)了無標(biāo)定的多相機擬合、結(jié)合深度學(xué)習(xí)技術(shù)、自適應(yīng)校正等方法，實現(xiàn)對更復(fù)雜的實際場景進行高精度重建。目前，已經(jīng)在對地遙感、室內(nèi)場景、人臉目標(biāo)等場景下取得了較好的重建結(jié)果。

審核編輯：劉清