CVPR2022;直接從點云提取3D基元

1介紹

我們的日常生活環(huán)境充滿了經(jīng)過精心設計的計算機輔助設計制造的物體。這使得在需要物理對象的副本或變體但相應的CAD模型不可用的情況下，進行逆向工程成為一個重要的工作流程。這種情況經(jīng)常發(fā)生在修復機械或?qū)⑶皵?shù)字時代制造的物體數(shù)字化時。為此，首先使用產(chǎn)生點云的3D傳感器掃描對象，然后將其分解為一組一致的基元或曲面，這些基元或曲面可由現(xiàn)有的形狀建模工具(如Fusion360 或SolidWorks)解析。這里也推薦「3D視覺工坊」新課程徹底搞懂基于Open3D的點云處理教程！》。

2主要貢獻

1.介紹了一種新的方法，將三維重建任務建模為一個擠出圓柱體分解問題，使其非常適合CAD建模。2.構(gòu)建了一個神經(jīng)網(wǎng)絡，通過學習幾何代理將輸入點云分解成一組擠壓筒，然后利用這些幾何代理估計可微的閉式公式中的擠壓參數(shù)。3.在兩個現(xiàn)有的CAD數(shù)據(jù)集Fusion Gallery 和DeepCAD上進行了定量和定性的驗證

3方法

3.1擠壓圓筒定義

在深入研究方法細節(jié)之前，首先定義“擠壓圓筒”，這是一種基元，它使我們能夠靈活地從任意閉環(huán)創(chuàng)建任何形狀，通過一系列布爾運算組合它們，的定義如圖 3 所示。我們進一步提出了封閉形式和可微分的公式來從點恢復擠出參數(shù)。定義1：定義了一個非自相交、有限面積、閉環(huán)和歸一化2D草圖 由一組點定義，函數(shù) q 將值范圍映射到實數(shù)線，而另一個函數(shù) p 則將實數(shù)線映射到 2D 空間，2D 草圖已歸一化，這意味著它已被縮放和平移，因此其邊界框的寬度和高度均為 1 個單位定義2：定義了包含的平面，以及中心 c 和沿軸的法線 e定義3：定義圓柱體E , s是草圖的縮放率定義4：將沿著擠壓圓筒表面的點分類為基點或筒點。基點是位于擠出圓筒任一范圍的平面上的點，而筒點是位于沿著擠出圓筒“側(cè)面”的點。因此，基點/筒點的表面法線平行/垂直于擠出軸 e。對于任何與擠壓圓柱體 (pi 2 R3) E 邊界相關(guān)的點，我們用 bi 表示該屬性。bi = 0 表示桶，bi = 1 表示底座。其中 ni 是在點 pi 處計算的表面法線。公理1：對于擠壓筒上的一組點，最佳擠壓軸由下式給出：其中，，而 Nbase ∈ RNbase×3 ? N 和 Nbarr ∈ RNbarr×3 ? N 表示屬于擠壓圓柱體的底座/桶點的相應法線，通過H的最小特征值對應的特征向量即可得到解。公理2：對于一般加權(quán)點集，最佳擠出軸由下式給出：其中：φbarr/φbase 分別表示分配給所有點的桶/基礎權(quán)重

3.2其他參數(shù)計算

我們首先定義一個運算符 ：，該運算符通過將給定向量 e 與 z 軸對齊，將該點投影到 xy 平面上，然后將另一個向量 c 居中以原點為中心，將 3D 點映射到 2D 點草圖：將此運算符應用于擠出圓柱體的基點，以獲得圓柱體的未歸一化草圖s拉伸比例：通過取草圖中最遠的點到原點的距離來計算拉伸比例預測草圖表示,每個線段 k 的桶點投影到由 (? ck, ? ek) 定義的平面上并按 ? sk 縮放S歸一化草圖：使用拉伸比例和通過縮放未歸一化草圖獲得的歸一化草圖：會出現(xiàn)一些問題：很難通過這些點去簡單的擬合一個二維基元，很難保證輸出草圖是封閉的，并且不自相交，而且同一個 2D 草圖可能有多種基本近似值，這阻礙了可學習性c擠壓中心：通過 P 的所有桶點的平均值來估計由于我們估計的擠壓軸是無方向的，因此我們通過從方程（4）中取絕對值的最大值來計算范圍，并在兩個方向上擠壓計算出的范圍，即：,

4構(gòu)建擠壓圓筒網(wǎng)絡

4.1問題定義

(i）實例分割 ：定義將每個點分配給某個片段 k{1 ...K} 的可能性，其中每個片段都是擠壓柱面(ii) 基礎桶分割:實例化為 ,表示桶點,表示底座(iii) 表面法線 N ∈ RNX3對此，建立一個神經(jīng)網(wǎng)絡

4.1.1網(wǎng)絡細節(jié)

現(xiàn)在給定預測的幾何結(jié)果，M 緊湊且聯(lián)合地組合了點 1）是基點或桶，以及 2）屬于某個段的預測概率。然后，我們應用行式 softmax 將 ^ M 轉(zhuǎn)換為行隨機矩陣，其第 i 行表示點 pi 屬于 2K 類之一

4.1.2通過神經(jīng)網(wǎng)絡推斷草圖

使用編碼器函數(shù) fβ 將草圖的二維點云映射到全局的歸一化草圖潛在空間。編碼器函數(shù)生成的潛在代碼充當解碼器函數(shù) S 的條件，該函數(shù)將 2D 點 r 映射到其符號距離值到底層歸一化草圖。解碼器：解碼器函數(shù)將 2D 空間中的一個點映射到底層歸一化草圖的有符號距離值該線段的點與地面真值草圖曲線之間的距離由一個隱式函數(shù)近似d 是 r 與線段 Sk 的地面真實草圖曲線之間的距離該方法涉及使用編碼器-解碼器架構(gòu)，其中編碼器功能將二維點云映射到潛在空間，解碼器函數(shù)將二維空間中的一個點映射到其符號距離值到底層的歸一化草圖。

4.2訓練

分割（seg）、基本點、桶點分類（bb）、法線（norm）和草圖組成的多任務非凸目標來訓練 G? 的參數(shù) ?正則化損失損失：1）預測法線和 GT 法線之間的絕對余弦距離進行懲罰：2）分割損失3）4）草圖正則化損失

5實驗結(jié)果

該圖顯示（從上到下）（1）輸入點云，（2）我們的預測分割，（3-5）相應的一組擠壓圓柱體和（6）我們的最終重建。該圖還說明了我們分解的各個擠出圓筒是由各種閉環(huán)產(chǎn)生的。這里也推薦「3D視覺工坊」新課程徹底搞懂基于Open3D的點云處理教程！》。

6.總結(jié)

Point2Cyl，用于將 3D CAD 模型逆向工程為 CAD 設計者可解釋和使用的基元。為了解決這個具有挑戰(zhàn)性的離散連續(xù)分解問題，首先引入了擠壓缸并開發(fā)了其擬合點集的基礎。然后，提出了適合神經(jīng)架構(gòu)的可微分算法，該算法將點云劃分為一組擠壓缸。受益于一組代理預測，這些預測被證明可以注入正確的幾何歸納偏差。與標準原始擬合相反，Point2Cyl 的輸出允許形狀變化，并且可以直接導入到現(xiàn)有的 CAD 建模器中，以進行進一步的重建、可視化和可重用性。