深度學習神器DYnet++：輕松駕馭復雜自由曲面，3D測量無難度！

1、導讀

傳統(tǒng)的相位測量偏折測量技術在測量低反射率的表面和復雜曲面時存在一些問題。低反射率表面的捕獲的條紋圖案質量很差，無法正確提取相位。而復雜曲面會產生包含閉環(huán)和開環(huán)特征的復雜反射條紋圖案，使得傳統(tǒng)的單次拍攝相位測量方法難以獲取相位。因此，本研究旨在利用深度學習技術解決這些問題，提出一種基于深度學習的單次拍攝相位測量偏折測量方法，以實現對復雜自由曲面的三維測量。

2、研究內容

一種基于深度學習的單次拍攝相位測量偏折測量法用于復雜自由曲面的三維測量。文章介紹了目前單次拍攝偏折測量法存在的兩個主要問題：低反射率鏡面表面的測量和復雜曲面的測量。為了解決這些問題，研究團隊采用了低頻率的復合光柵圖案來提高低反射率表面的光柵可見度，并利用深度學習方法處理復雜曲面的相位測量。通過深度學習網絡的訓練和優(yōu)化，可以實現單次拍攝下復雜曲面的三維測量和缺陷檢測。

3、方法

利用深度學習網絡模型DYnet++從單個復合圖案中獲取相位信息。為了訓練深度學習模型，作者使用了一個具有九個致動器的可變形鏡來生成各種表面形狀的大量數據。通過將測量結果與16步相移法的結果進行比較，驗證了所提出的基于深度學習的單次拍攝偏轉測量方法的可行性。該方法的優(yōu)點是可以在單次拍攝中獲取復雜表面的相位信息，避免了傳統(tǒng)相移法需要多張圖像的缺點。深度學習網絡模型能夠學習并理解復雜的圖案特征，從而準確地提取相位信息。這種方法在工業(yè)環(huán)境中具有廣泛的應用前景，可以提高測量效率和準確性。需要注意的是，該方法目前還處于研究階段，可能還存在一些局限性和改進空間。但是，基于深度學習的單次拍攝偏轉測量方法在解決復雜表面測量問題方面具有很大的潛力，并且在實際應用中可能會得到更多的發(fā)展和改進。

3.1、偏轉法表面測量原理

偏轉法表面測量是一種用于測量光滑自由曲面的斜率測量技術。它使用屏幕（LCD屏幕）來顯示調制的正弦條紋圖案，該圖案投射到被測曲面上，然后由相機接收反射的條紋圖案。通過這種方式，我們可以獲得曲面的斜率進行分析。如果我們可以獲得兩個正交的曲面斜率，就可以通過積分來重建曲面的形狀和尺寸。對于缺陷檢測，不僅需要檢測曲面上的缺陷，還需要確定缺陷的形狀和尺寸。因此，我們需要將兩個正交的條紋圖案（稱為和圖案）投射到被測曲面上，以獲得曲面的斜率進行積分。傳統(tǒng)上，使用相移方法來獲取和方向上的曲面相位，因為它具有像素級的相位恢復和高分辨率。捕獲的條紋圖案可以通過以下數學表達式表示：

其中，和分別是捕獲的和條紋圖案的光強度；是相機的像素坐標；和是背景，和 是條紋調制；和是和方向上的相位；是相移數（），是相移的總數。通過這些捕獲的條紋圖案，可以通過以下公式恢復和方向上的相位：

其中，和是和的包裹相位。它們需要使用空間相位展開算法進行展開。是相移值。通常情況下，如果相移步數N越大，恢復的相位精度越高。

3.2、DYnet++

DYnet++是一種基于深度學習的單次拍攝相位測量偏折測量方法，用于測量低能見度和復雜鏡面表面。DYnet++深度學習網絡，用于從單個低頻復合條紋圖案中獲取相位進行表面測量。DYnet++網絡接受一個輸入，即捕獲的低頻復合條紋圖案，并輸出每個解碼器路徑中的兩個分子和兩個分母項。通過訓練過程，每個解碼器路徑將具有預測分子和分母的最佳參數。然后，通過這些量的反正切計算出x和y的包裹相位。DYnet++網絡的結構受到Ynet和Unet++的啟發(fā)。我們試圖結合這些網絡的優(yōu)點來進行相位檢測。DYnet++網絡在Unet++的基礎上添加了一個解碼器路徑，使其對稱化。

3.3、DM

在這篇論文中，作者使用了可變形鏡面（DM）來生成訓練數據集。DM是一個可以通過施加力來改變形狀的金屬板。通過改變DM的形狀，可以改變捕獲到的條紋圖案。使用DM生成訓練數據的優(yōu)點是可以快速生成大量的訓練數據，只需改變鏡面的形狀即可。作者首先在液晶顯示屏上顯示復合圖案，然后通過相機捕獲反射的圖案作為訓練數據的輸入。然后，作者使用相位移方法在x和y方向上顯示16步的相位移圖像，作為訓練數據的真值。對于每個輸入復合圖案，相應的輸出將是，，和。通過改變的形狀，可以生成不同的訓練數據。作者通過改變每個致動器的位置1000次來隨機改變的形狀，從而生成了總共4000個訓練圖像和真值。使用這種方法生成訓練數據，網絡可以學習如何從單個復合圖案中預測正確的分子和分母。

4、實驗結果

使用TensorFlow和Keras 2.8.0深度學習庫實現了DYnet++。訓練過程在一臺配備Intel Core i9-12900K CPU、64 GB RAM和Geforce RTX-3090 GPU（NVIDIA）的臺式計算機上進行。他們使用了不同形狀的變形鏡（DM）生成了訓練數據集，總共生成了4000個訓練圖像和對應的地面真值。訓練數據集的大小為320×240像素。他們使用了均方誤差作為損失函數，并使用平均絕對誤差作為評估指標。訓練總共耗時約12小時。

在測試中，他們使用了與訓練和驗證數據不同的變形鏡生成的復合圖案作為輸入。他們展示了一些測試結果，并與地面真值進行了比較。結果顯示，DYnet++方法在形狀重建方面與傳統(tǒng)的16步相移方法相比具有相似的性能，而16步相移方法需要32張相移圖像。此外，他們還進行了低可見度表面的測量和缺陷檢測實驗，結果表明DYnet++可以從單次復合圖案中檢測出小的缺陷?？偟膩碚f，DYnet++方法通過深度學習實現了單次拍攝相位測量偏折測量，具有較好的性能和應用潛力。

5、總結

我們的研究提出了一種基于深度學習的單次偏轉測量方法DYnet++，能夠測量和檢測復雜自由曲面。這種方法具有廣泛的適用性和高效的性能，可以在實時或高速環(huán)境下進行復雜曲面的測量和檢測。