NVIDIA DRIVE Sim攝像頭模型的驗證

在部署自動駕駛車輛之前，需要在各種場景中進(jìn)行大規(guī)模開發(fā)和測試。

仿真可以通過為自動駕駛車輛提供可擴(kuò)展、可重復(fù)的環(huán)境來應(yīng)對這些挑戰(zhàn)，以應(yīng)對訓(xùn)練、測試和驗證所需的罕見和危險場景。

Omniverse 上的 NVIDIA DRIVE Sim 是專為開發(fā)和測試自動駕駛汽車（ AV ）而構(gòu)建的仿真平臺。它提供了車輛、 3D 環(huán)境和 AV 系統(tǒng)開發(fā)和驗證所需傳感器的高保真數(shù)字孿生模型。

與視頻游戲等其他應(yīng)用程序的虛擬世界不同， DRIVE Sim 必須生成準(zhǔn)確模擬真實世界的數(shù)據(jù)。在工程工具鏈中使用仿真需要清楚地掌握模擬器的性能和局限性。

該精度涵蓋模擬器建模的所有功能，包括車輛動力學(xué)、車輛部件、其他駕駛員和行人的行為以及車輛傳感器。這篇文章涵蓋了 DRIVE Sim 中相機(jī)模型驗證的一部分，這需要評估每個元素的單獨性能，從世界場景的渲染到協(xié)議模擬。

驗證攝像機(jī)仿真模型

可采用兩種方法對模擬攝像機(jī)進(jìn)行徹底驗證：

對模型每個組成部分的單獨分析（圖 1 ）。

一種自上而下的驗證，通過比較在真實或合成圖像上訓(xùn)練的感知模型的性能，驗證模擬器生成的攝像機(jī)數(shù)據(jù)在實踐中準(zhǔn)確地表示真實的攝像機(jī)數(shù)據(jù)。

單個成分分析是一個復(fù)雜的主題。這篇文章描述了我們對相機(jī)模型的兩個關(guān)鍵屬性的組件級驗證：相機(jī)校準(zhǔn)（外部和內(nèi)部參數(shù)）和顏色精度。直接與真實世界的相機(jī)數(shù)據(jù)進(jìn)行比較，以識別模擬圖像和真實世界圖像之間的任何增量。

圖 1 。相機(jī)模型組件概述

為了進(jìn)行驗證，我們選擇使用 NVIDIA DRIVE Hyperion 傳感器套件中的一組相機(jī)型號。圖 2 詳細(xì)說明了整個測試過程中使用的攝像機(jī)模型。

圖 2 。 NVIDIA DRIVE Hyperion 8 傳感器組

攝像機(jī)校準(zhǔn)

AV perception 需要精確了解攝像頭在車輛上的位置，以及攝像頭的每個獨特鏡頭幾何如何影響其生成的圖像。 AV 系統(tǒng)通過攝像機(jī)校準(zhǔn)處理這些參數(shù)。

模擬攝像機(jī)傳感器應(yīng)在同一校準(zhǔn)和數(shù)字雙環(huán)境下準(zhǔn)確再現(xiàn)真實攝像機(jī)的圖像。同樣，當(dāng)輸入校準(zhǔn)工具時，模擬攝像機(jī)圖像應(yīng)能產(chǎn)生與真實圖像相似的校準(zhǔn)參數(shù)。

我們使用我們的傳感器校準(zhǔn)接口 NVIDIA DriveWorks 來估計本文中提到的所有攝像機(jī)參數(shù)。

可通過以下步驟驗證攝像機(jī)特性：

Extrinsic validation ：攝像頭外部特性是描述其在車輛上的位置和方向的攝像頭傳感器的特性。外部驗證的目的是確保模擬器能夠在給定的位置和方向準(zhǔn)確地再現(xiàn)真實傳感器的圖像。

Calibration validation ：通過計算重投影誤差來驗證校準(zhǔn)的準(zhǔn)確性。在實際校準(zhǔn)中，此方法用于量化校準(zhǔn)是否有效和成功。我們在此應(yīng)用此步驟來計算在真實圖像和模擬圖像上重新投影的關(guān)鍵檢測特征之間的距離。

內(nèi)在驗證

通過設(shè)置多項式系數(shù)，內(nèi)在相機(jī)校準(zhǔn)比其制造公差更精確地描述單個透鏡的獨特幾何結(jié)構(gòu)。

是到畸變中心的距離（以像素為單位）

是畸變函數(shù)的系數(shù)

（θ）是以弧度為單位的結(jié)果投影角度

該多項式的校準(zhǔn)使 AV 能夠通過描述鏡頭畸變的影響，從攝像機(jī)數(shù)據(jù)中做出更好的推斷。兩個透鏡模型之間的差異可以通過計算它們之間的最大θ失真來量化。

圖 3 。最大θ畸變圖

最大θ失真描述通過透鏡邊緣（對應(yīng)于圖像邊緣）的光的角度差，其中失真最大。在本測試中，我們使用最大θ失真來描述由真實校準(zhǔn)圖像生成的透鏡模型與由合成圖像生成的透鏡模型之間的差異。

我們根據(jù)以下過程驗證了模擬攝像機(jī)的固有校準(zhǔn)：

執(zhí)行內(nèi)部攝像機(jī)校準(zhǔn)： 安裝在車輛或試驗臺上的攝像頭可捕獲棋盤格圖表的視頻，該棋盤格圖表以不同的距離和傾斜度在每個攝像頭的視野中移動。該視頻被輸入到 DriveWorks Intrinsics 約束工具中，該工具將從視頻中提取不同的棋盤圖像，并輸出校準(zhǔn)中每個攝像機(jī)的多項式系數(shù)。

生成模擬棋盤格校準(zhǔn)圖像： 實際攝像頭鏡頭校準(zhǔn)數(shù)據(jù)用于在 Drive Sim 中重新創(chuàng)建每個攝像頭。我們根據(jù)校準(zhǔn)工具輸出的估計圖表位置和方向，在模擬中重新創(chuàng)建了真實的棋盤圖像。

從合成圖像生成內(nèi)部校準(zhǔn)： 我們將合成圖像輸入 DriveWorks 校準(zhǔn)工具，以生成新的多項式系數(shù)。

計算從真實鏡頭到模擬鏡頭的最大θ失真： 對于每個鏡頭，我們比較了真實圖像校準(zhǔn)定義的幾何體與模擬圖像校準(zhǔn)定義的幾何體。然后我們找到了兩個透鏡之間光線通過角度變化最大的點。

圖 4 。內(nèi)在驗證過程

每個攝像機(jī)的最大θ失真是通過比較其真實 f- θ鏡頭校準(zhǔn)與模擬圖像產(chǎn)生的校準(zhǔn)得出的。

圖 5 。 F- θ模型的最大θ失真

第一個結(jié)果超出了我們的預(yù)期，因為模擬的行為是可預(yù)測的，并且再現(xiàn)了真實世界校準(zhǔn)的觀察結(jié)果。

這一比較為我們的模型準(zhǔn)確表示鏡頭畸變效應(yīng)的能力提供了第一個置信度，因為我們觀察到真實和模擬相機(jī)之間存在微小差異。前長焦鏡頭在現(xiàn)實生活中很難約束，因此我們預(yù)計它在我們的模擬結(jié)果中是一個異常值。

魚眼攝像頭校準(zhǔn)顯示出最大的真實到 sim 差異（前魚眼攝像頭的 FOV 為 0.58% ）。

查看這些結(jié)果的另一種方法是考慮畸變對生成圖像的影響。我們在后面的步驟中比較了校準(zhǔn)圖中的真實和模擬檢測特征，如 數(shù)字特征標(biāo)記比較 所述。

我們繼續(xù)進(jìn)行外部驗證方法。

外部驗證

我們根據(jù)以下過程驗證了模擬攝像機(jī)的外部校準(zhǔn)：

執(zhí)行外部攝像機(jī)校準(zhǔn) ：安裝在車輛或測試臺上的攝像機(jī)拍攝到整個實驗室中的多個校準(zhǔn)模式（ APLILAT TAG ）的圖像。我們的測試是，攝像機(jī)安裝在NVIDIA DRIVE Hyperion 級 2 +參考架構(gòu)上。使用 DriveWorks 校準(zhǔn)工具，我們計算了攝像機(jī)的精確位置和方向以及三維空間中的校準(zhǔn)圖表。

在模擬中重新創(chuàng)建場景： 使用來自真實校準(zhǔn)和 AprilTag 海圖位置的地面真相的外部參數(shù)，在模擬中以與真實實驗室相同的相對位置和方向生成相機(jī)和海圖。系統(tǒng)從每個模擬相機(jī)生成合成圖像。

從合成圖像生成外部校準(zhǔn)，并與真實校準(zhǔn)進(jìn)行比較： 合成圖像被輸入到 DriveWorks 校準(zhǔn)工具中，以輸出場景中所有攝像機(jī)和圖表的位置和方向。我們計算了從真實和合成校準(zhǔn)圖像得出的外部參數(shù)之間的 3D 差異。

圖 6 。外部驗證過程

圖 7 顯示了測試攝影機(jī)裝備上 12 個攝影機(jī)中每個攝影機(jī)的外部參數(shù)差異，將真實攝影機(jī)校準(zhǔn)與模擬攝影機(jī)圖像產(chǎn)生的校準(zhǔn)進(jìn)行了比較。所有攝像機(jī)位置參數(shù)在 3 厘米內(nèi)匹配，所有攝像機(jī)方向參數(shù)在 0.4 度內(nèi)匹配。

所有位置和方向均以右手參考坐標(biāo)系為基準(zhǔn)，原點位于投射到地平面上的汽車后軸中心，其中 x 與汽車方向?qū)R， y 向左， z 向上。偏航、俯仰和橫搖是圍繞 z 、 y 和 x 的逆時針旋轉(zhuǎn)。

圖 7 。攝像機(jī)位置外部差異–校準(zhǔn)輸入到輸出

圖 8 。攝像機(jī)方向外部差異–校準(zhǔn)輸入到輸出

后果

前面描述的驗證將真實實驗室校準(zhǔn)與 DRIVE Sim RTX 渲染器中的 digital twins 校準(zhǔn)進(jìn)行比較。 RTX 渲染器是一種路徑跟蹤渲染器，它提供兩種渲染模式，一種是實時模式，另一種是參考模式（非實時，注重準(zhǔn)確性），以根據(jù)具體的使用情況提供完全的靈活性。

這個完整的驗證過程是使用 RTX 實時模式和參考模式渲染的數(shù)字雙胞胎來完成的，以評估分配給渲染的處理能力降低的效果。請參見下表中的實時驗證結(jié)果摘要，以及可供比較的參考結(jié)果。

正如預(yù)期的那樣，由于圖像質(zhì)量降低，在實時渲染時，大多數(shù)測量的 real-to-sim 誤差略有增加。盡管如此，基于實時圖像的校準(zhǔn)與實驗室校準(zhǔn)相匹配，相機(jī)的校準(zhǔn)范圍為 0.030 米和 0.041 度， AprilTag 位置的校準(zhǔn)范圍為 0.041 米和 0.010 度，鏡頭模型的校準(zhǔn)范圍為理論視野的 0.49% 。

圖 9 。參考與實時驗證結(jié)果

下圖顯示了真實和模擬環(huán)境中 22 個 AprilTag 圖表的平均和最大位置或方向差異。從真實圖表到他們的數(shù)字雙胞胎的平均位置差異在所有軸上都小于 1.5 厘米，并且沒有個別圖表的位置差異在任何軸上超過 4.5 厘米。

所有軸上真實圖表與其數(shù)字孿生圖形之間的平均方向差均小于 0.001 度，且任何軸上單個圖表的方向差均不超過 0.004 度。

圖 10 。平均/最大 AprilTag 方向差異–校準(zhǔn)輸入到輸出

目前還沒有定義可接受誤差的標(biāo)準(zhǔn)，在該誤差下，可以認(rèn)為傳感器仿真模型是可行的。因此，我們將我們的位置和方向增量值與真實校準(zhǔn)產(chǎn)生的校準(zhǔn)誤差進(jìn)行比較，以確定我們模擬的最大可接受誤差的有效標(biāo)準(zhǔn)。我們測試產(chǎn)生的誤差始終小于在真實世界中觀察到的校準(zhǔn)誤差。

該校準(zhǔn)方法基于我們的校準(zhǔn)工具使用的統(tǒng)計優(yōu)化技術(shù)，因此會引入自身的不確定度。然而，還需要注意的是， DriveWorks 校準(zhǔn)系統(tǒng)在傳感器校準(zhǔn)的研究和開發(fā)中一直使用，具有較高的精確度。

這些結(jié)果還表明，校準(zhǔn)工具可以與模擬渲染圖像一起工作，并提供與真實世界相當(dāng)?shù)慕Y(jié)果。事實上，真實世界的校準(zhǔn)系統(tǒng)和我們的模擬是一致的，這是我們的相機(jī)模擬模型的第一個重要信心指標(biāo)。

此外，該方法還驗證了模擬器作為一個整體，因為用于校準(zhǔn)的 digital twin 使用所有 12 個攝像頭對整個場景進(jìn)行建模，而無需調(diào)整值以改善結(jié)果。

為了進(jìn)一步評估該方法的有效性，我們在真實圖像和模擬圖像之間進(jìn)行了直接的數(shù)字特征標(biāo)記比較。

數(shù)字特征標(biāo)記比較

校準(zhǔn)工具提供一個視覺驗證器，根據(jù)估計的內(nèi)在參數(shù)將校準(zhǔn)圖表位置重新投影到輸入圖像上。圖像顯示了模擬和真實攝像機(jī)的檢測特征疊加和重投影統(tǒng)計（平均、標(biāo)準(zhǔn)、最小和最大重投影誤差）示例。

圖 11 。將目標(biāo)位置覆蓋到攝像機(jī)\后部\魚眼\ 200fov 的輸入圖像上

計算重投影誤差使我們能夠進(jìn)一步斷言先前校準(zhǔn)方法的有效性。這種方法解析校準(zhǔn)工具檢測到的特征，并將其與真實圖像中的特征進(jìn)行比較。

這里，我們將校準(zhǔn)圖中每個 AprilTags 的角點視為特征標(biāo)記。我們計算了在真實圖像上檢測到的特征標(biāo)記與合成圖像之間的像素距離，用于路徑跟蹤和實時模擬。

下圖顯示了模擬參考路徑標(biāo)記和真實特征標(biāo)記之間 1.4 像素的平均距離?；趯崟r模擬數(shù)據(jù)集的相同比較產(chǎn)生 1.62 像素的平均重投影誤差。

圖 12 。平均重投影誤差（參考與實時）

這兩個值都是實際投影誤差閾值（ 2 像素），用于評估實際校準(zhǔn)的精度。結(jié)果是非常有希望的，特別是因為這種方法不太依賴于我們的校準(zhǔn)工具的內(nèi)部工作。

事實上，校準(zhǔn)工具僅用于估計每個圖像中檢測到的特征標(biāo)記。標(biāo)記的比較是基于對三維空間中對象的純算法分析來完成的。

顏色準(zhǔn)確度評估

攝像機(jī)標(biāo)定結(jié)果表明，我們的攝像機(jī)傳感器模型生成的圖像與其真實圖像對應(yīng)的像素對應(yīng)。下一步是驗證與每個像素關(guān)聯(lián)的值是否準(zhǔn)確。

我們模擬了一個麥克白顏色檢測器圖表，并在 DRIVE Sim 中捕獲了它的圖像，以驗證圖像質(zhì)量。然后將每個色塊的 RGB 值與相應(yīng)真實圖像的 RGB 值進(jìn)行比較。

除了真實的圖像，我們還介紹了 Iray renderer ， NVIDIA 最真實的物理光模擬器，經(jīng) CIE 171:2006 驗證。我們首先使用 Iray 渲染系統(tǒng)生成的模擬圖像，然后使用 NVIDIA RTX 渲染器執(zhí)行此測試。與 Iray 的比較很好地衡量了 RTX 渲染器相對于公認(rèn)行業(yè)黃金標(biāo)準(zhǔn)的能力。

圖 13 。圖像質(zhì)量測試設(shè)置

我們根據(jù)以下過程驗證了模擬攝像機(jī)的圖像質(zhì)量：

在試驗箱中捕獲麥克白顏色檢查器圖表的圖像： 將麥克白顏色檢查器圖表放置在測量高度處，并使用特征化的外部光源進(jìn)行照明。攝像機(jī)放置在麥克白圖表已知的高度和距離處。

在模擬中重新創(chuàng)建圖像： 使用測試設(shè)置的尺寸、校準(zhǔn)的麥克白圖表值和外部照明配置文件，我們使用 DRIVE Sim RTX 渲染器渲染測試場景。然后，我們使用預(yù)定義的相機(jī)模型重新創(chuàng)建在實驗室捕獲的圖像。

提取每個面片的平均亮度和 RGB 值： 我們對所有三幅圖像（ real 、 Iray 、 DRIVE-Sim RTX 渲染器）的每個面片中所有像素的顏色值取平均值。

比較白平衡亮度和 RGB 值： 將每個貼片的測量值與貼片 19 進(jìn)行標(biāo)準(zhǔn)化，以實現(xiàn)白平衡。我們比較了真實圖像、 Iray 渲染和 RTX 渲染中的平衡顏色和亮度值。

圖 14 。麥克白顏色檢測器測試過程

圖 15 。麥克白顏色檢測器參考圖

圖 16 。真實和渲染 luma 和 RGB 比較

圖 17 。紅色貢獻(xiàn)、渲染圖像與真實圖像的比較

圖 18 。綠色貢獻(xiàn)、渲染圖像與真實圖像的比較

圖 19 。藍(lán)色貢獻(xiàn)、渲染圖像與真實圖像的比較

這些圖顯示了渲染圖像和真實圖像中每個色塊的歸一化 luma 和 RGB 輸出。

渲染圖像的亮度和 RGB 值都接近真實相機(jī)，這使我們對傳感器模型準(zhǔn)確再現(xiàn)顏色和亮度貢獻(xiàn)的能力充滿信心。

為了進(jìn)行直接的視覺比較，我們展示了麥克白圖表真實圖像和合成圖像的縫合白平衡 RGB 值（ Iray 、實時和路徑跟蹤貢獻(xiàn)）。

圖 20 ?？p合 RGB 補(bǔ)丁麥克白顏色圖表（合成與真實）

我們還計算了Δ E （參見圖 22 中的結(jié)果），這是一種 CIE2000 計算機(jī)視覺度量，它量化了渲染和原始攝影機(jī)值之間的距離，通常用于攝影機(jī)特征化。Δ E 值越低表示顏色精度越高，人眼無法檢測到低于 1 的值。

圖 21 。 CIE2000 的參考與實時結(jié)果

雖然Δ E 提供了感知色差的良好測量，并被公認(rèn)為成像標(biāo)準(zhǔn)，但它僅限于人類感知。此類指標(biāo)對神經(jīng)網(wǎng)絡(luò)的影響仍有待于在進(jìn)一步的測試中評估。

結(jié)論

這篇文章介紹了NVIDIA 驗證方法和初步結(jié)果為我們的 DRIVE SIM 相機(jī)傳感器模型。

我們的結(jié)論是，我們的模型能夠準(zhǔn)確地再現(xiàn)真實攝像機(jī)的標(biāo)定參數(shù)，總體誤差低于真實標(biāo)定誤差。

我們還參考行業(yè)標(biāo)準(zhǔn)的麥克白顏色檢測器對我們模型的顏色精度進(jìn)行了量化，發(fā)現(xiàn)它與典型的研發(fā)誤差幅度密切相關(guān)。

此外，我們得出結(jié)論， RTX 實時渲染是實現(xiàn)這一精度水平的可行工具。

這證實了 DRIVE Sim 攝像機(jī)模型可以在模擬環(huán)境中再現(xiàn)真實世界攝像機(jī)的上述參數(shù)，至少與真實世界中的雙攝像機(jī)設(shè)置一樣精確。更重要的是，這些測試為用戶提供了信心，即攝像機(jī)模型的輸出，如本質(zhì)、外生和顏色再現(xiàn)，將是準(zhǔn)確的，并且可以作為其他驗證工作的基礎(chǔ)。

接下來的步驟將是在真實世界的 perception 用例中驗證我們的模型，并提供關(guān)于在開環(huán)中為模型成像 KPI 的進(jìn)一步結(jié)果。

關(guān)于作者

Carène Kamel 是 NVIDIA DRIVE Sim 的產(chǎn)品經(jīng)理。她在汽車和航空航天行業(yè)擁有 10 多年的硬件在環(huán)和軟件仿真經(jīng)驗。 Carène 擁有法國斯特拉斯堡 Télécom Physique 公司的控制工程碩士學(xué)位。

Ashley Reid 是一名高級軟件工程師，擁有計算機(jī)圖形學(xué)和仿真碩士學(xué)位。他有超過 13 年的經(jīng)驗與 NVIDIA 硬件和編程 GPU ，為探索現(xiàn)實和模擬之間的差距提供了基礎(chǔ)。

Fabian Plepp 是一名高級系統(tǒng)工程師，負(fù)責(zé) NVIDIA DRIVE Sim 中的攝像頭模擬。他在汽車領(lǐng)域擁有 20 年的經(jīng)驗，擅長信號和圖像處理/分類以及系統(tǒng)架構(gòu)。

審核編輯：郭婷