基于大模型的仿真系統(tǒng)研究一——三維重建大模型

一

基于大模型的仿真系統(tǒng)框架

傳統(tǒng)的仿真測試驗證普遍基于場景，而場景的構建主要由道路和場景編輯器來人工搭建靜態(tài)場景和動態(tài)場景，這種方式費時費力，而且也大大限制了場景要素組合的豐富化。針對此痛點問題，賽目推出了基于大模型的仿真系統(tǒng)，利用機器學習、深度學習等人工智能技術，不僅推出自動標注大模型、多模態(tài)檢測大模型和場景生成大模型等模塊，并且引入三維重建大模型加強渲染畫面真實性。

通過上述模塊，賽目的路采場景轉換系統(tǒng)實現(xiàn)了以傳感器原始數(shù)據或者目標集數(shù)據為輸入，通過感知融合、場景提取和生成等功能，輸出仿真測試所需的靜態(tài)路網和動態(tài)場景進行仿真，大大提高了仿真測試的效率。

圖：基于大模型的仿真系統(tǒng)框架

二

三維重建大模型

本文首先介紹三維重建大模型。

三維重建是指根據單視圖或者多視圖重建三維信息、構建三維模型的過程。傳統(tǒng)的計算機圖形學的核心通過復雜的物理模型求解渲染方程。需要的不僅僅是場景中物體的幾何和材質信息、相機的內外參信息，更需要復雜的光照模型來模擬自然光照的影響。

上述工作的重大突破來自Ben Mildenhall等人于2020發(fā)表的神經輻射場(NeRF)，根據對同一物體不同觀察視角的多張圖像，通過隱式的編碼表示場景實現(xiàn)三維重建的過程，利用體渲染生成新視角圖像。

NeRF訓練渲染流程可以總結如下：

1. 對于給定的相機光線，在光線上進行采樣，對采樣點的空間坐標及觀察方向進行編碼，用深度復雜網絡存獲得輻射場信息；

2. 輻射場輸出空間點的顏色和密度；

3. 根據2的輸出用體素渲染方程獲得生成視角圖片；

4. 在訓練階段與原視角圖片計算損失更新網絡。

圖：NeRF訓練管線[1]

下圖表示了輻射場的網絡結構，其中PE表示位置編碼，x為三維坐標點，d為觀察方向，MLP為多層感知機，ReLU和Sigmoid分別為不同激活函數(shù)。輻射場網絡的輸入是空間坐標及方差方向，輸出為對應的顏色和密度值傳遞至體渲染模塊。

圖：NeRF網絡結構

體渲染主要為解決云、煙、果凍等非剛性物體進行渲染建模，將其抽象成一團粒子群，表現(xiàn)了光線穿過時光子和粒子交互的過程，產生的輻亮度的變化。其物理過程包括吸收、外散射、內散射、放射。忽略背景光的影響，體渲染方程為：

上述方法主要針對室內小型場景進行三維重建，對于戶外場景、特別是自駕場景還有許多優(yōu)化的空間，相關內容將在下節(jié)討論。

三

三維重建大模型-挑戰(zhàn)和對應

對于自駕場景，上述Baseline方法面臨的挑戰(zhàn)包括：

1. 訓練和渲染速度：Baseline方法需要花費數(shù)小時、甚至數(shù)天進行訓練和生成，這對于仿真來說是難以接受的，同樣不利于算法的迭代優(yōu)化；

2. 生成畫質清晰度：自駕場景包括了靜態(tài)路網、動態(tài)環(huán)境參與者、背景建筑物、天空等等，需要同時將遠景與近景清晰地渲染生成是一個極大的挑戰(zhàn)；

3. 算法訓練的過擬合現(xiàn)象：與Baseline對同一物體360°環(huán)視圖像獲取不同，路采車輛一般沿著固定采集路線前進，對于同一物體的信息收集不夠充沛，影響最終的渲染質量。

4. 動態(tài)物體的添加和刪除：利用三維重建大模型能夠獲得不同主車視角的成像結果，但是對于測試場景生成需要靈活地控制環(huán)境參與者，因此需要模型能夠自由地對物體進行添加和刪除。

基于上述問題，我們提出了下述的研究路線。

圖：三維重建技術路線

對于無邊界場景，由于可視范圍變大的原因通過NDC坐標變化后的采樣過程會將近景采樣稀疏化，影響最終成像質量導致物體模糊，保持近距離坐標不變，遠距離坐標作非線性轉換是一種解決思路。坐標轉換形式包括了[2-3]：

1.半徑為r的球面內保持坐標不變，球面外坐標以單位向量以及逆半徑重新定義，具體如下

然后利用線性插值法獲得相應分辨率下的特征，輸入至多層感知機中進行訓練。特征柵格主要流程如下。

通過上述三維重建大模型方法，可以在自動駕駛仿真領域提升模型的訓練和渲染速度、重建畫質的清晰度、輻射場中物體深度與表面的準確度等等，同時能夠動態(tài)添加環(huán)境車、行人等交通參與者進行場景泛化，實現(xiàn)更靈活的場景生成需求。

參考文獻

[1]Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99-106.

[2]Zhang, Kai, et al. "Nerf++: Analyzing and improving neural radiance fields." arXiv preprint arXiv:2010.07492 (2020).

[3]Barron, Jonathan T., et al. "Mip-nerf 360: Unbounded anti-aliased neural radiance fields." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

[4]Müller, Thomas, et al. "Instant neural graphics primitives with a multiresolution hash encoding." ACM Transactions on Graphics (ToG) 41.4 (2022): 1-15.

賽目科技

專注智能網聯(lián)汽車測試