DRIVE Labs“常學(xué)常新”系列「第五站」：提高道路狀況的可見(jiàn)性

DRIVE Labs 系列文章

第五站：提高道路狀況的可見(jiàn)性

自然環(huán)境瞬息萬(wàn)變，雷雨、大霧以及白天黑夜的光線不同等都會(huì)影響自動(dòng)駕駛汽車的行駛。此外，道路上其他汽車的燈光狀態(tài)也會(huì)對(duì)自動(dòng)駕駛汽車觀察道路情況產(chǎn)生影響。因而提升自動(dòng)駕駛汽車在不同環(huán)境中的“可視”能力對(duì)于保證安全駕駛而言至關(guān)重要。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車如何一路“過(guò)關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第五期“提高道路狀況的可見(jiàn)性”，將為大家介紹自動(dòng)駕駛汽車如何利用 AI 和深度神經(jīng)網(wǎng)絡(luò)，“看清”不同光線及不同環(huán)境下的道路狀況，以保證行車安全。

上期文章主要介紹了用于車周環(huán)境監(jiān)測(cè)的 DNN 與 AI 技術(shù)，本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹用于評(píng)估汽車攝像頭可見(jiàn)度的 ClearSightNet DNN、用于汽車遠(yuǎn)光燈控制的 AutoHighBeamNet DNN 以及 AI 賦能的汽車光源感知等內(nèi)容。話不多說(shuō)，一起來(lái)看看吧！

真實(shí)的駕駛環(huán)境中的照明條件千變?nèi)f化，白天黑夜的照明來(lái)源各有不同，不同路段也會(huì)因城市建設(shè)或道路狀況有不同的照明條件，迎面而來(lái)或車前車后車輛的車燈也會(huì)對(duì)自動(dòng)駕駛汽車的道路判斷產(chǎn)生影響，因而保持自動(dòng)駕駛汽車“觀察”道路能力的穩(wěn)定性并優(yōu)化其根據(jù)實(shí)際情況進(jìn)行燈光操作的能力，對(duì)于保持安全穩(wěn)定的自動(dòng)駕駛而言至關(guān)重要。

ClearSightNet 助力評(píng)估攝像頭的可視性

ClearSightNet 深度神經(jīng)網(wǎng)絡(luò)

自動(dòng)駕駛汽車依靠攝像頭來(lái)實(shí)現(xiàn)對(duì)周圍環(huán)境的觀察。然而，一些環(huán)境因素，比如雨、雪和其他障礙，會(huì)影響攝像頭的可見(jiàn)度。除了能夠感知周邊環(huán)境，任何一個(gè)可靠的感知系統(tǒng)都應(yīng)當(dāng)有推斷出傳感器所傳輸數(shù)據(jù)有效性的能力。

如以上視頻所示，NVIDIA 基于三項(xiàng)必要需求，開(kāi)發(fā)出了一種 ClearSightNet DNN，用以評(píng)估攝像頭的可見(jiàn)度并幫助確定遮擋、障礙以及可見(jiàn)度降低的根本原因，旨在打造擁有可推理出攝像頭失明的根本原因的能力、能夠輸出可操作的有意義的信息且能以最小計(jì)算消耗在多個(gè)攝像頭上運(yùn)行的深度神經(jīng)網(wǎng)絡(luò)。

ClearSightNet 根據(jù)攝像頭失明的兩種情況將攝像頭圖像分成不同的對(duì)應(yīng)區(qū)域，這兩種情況分別是遮擋和可見(jiàn)度降低：

• 遮擋部分是指攝像頭被不透明遮擋物（如灰塵、泥土或雪等）遮擋或攝像頭不包含任何信息（如因太陽(yáng)照射而造成像素飽和）兩種情況。在該情況下，感知通常會(huì)完全受損。

• 可見(jiàn)度降低則是指攝像頭并未被完全阻礙，只是因?yàn)榇笥?、水滴、炫光和霧等因素導(dǎo)致可見(jiàn)度受損的情況。在該情況下，感知往往是部分受損，但依然被看作擁有較低的置信度。

ClearSightNet 輸出示例。輸入圖像（左）和經(jīng) ClearSightNet 輸出圖層覆蓋的輸入圖像（右）。在圖中所示的情況下，84％ 的圖像像素受到遮擋的影響，其中部分遮擋顯示為綠色，完全遮擋顯示為紅色

ClearSightNet DNN 會(huì)在輸入圖像上覆蓋一層圖層從而實(shí)現(xiàn)可視化，通過(guò)分類顯示可見(jiàn)度信息，持續(xù)輸出端到端的分析以及關(guān)于攝像頭失明的詳細(xì)信息，例如，當(dāng)可見(jiàn)度低時(shí)，車輛可以選擇不開(kāi)啟自動(dòng)駕駛功能，并提醒用戶清潔攝像頭鏡頭或擋風(fēng)玻璃，或者使用 ClearSightNet 輸出以通知用戶攝像頭感知可信度計(jì)算結(jié)果，由此對(duì)汽車實(shí)現(xiàn)最大程度的控制。

AutoHighBeamNet DNN

助力實(shí)現(xiàn)自動(dòng)可靠的遠(yuǎn)光燈控制

光線太刺眼？AI 如何避免其他車輛的遠(yuǎn)光眩光

車輛行駛過(guò)程中，人類駕駛員或自動(dòng)駕駛系統(tǒng)會(huì)根據(jù)道路照明情況調(diào)整汽車燈光，以“看清”道路具體情況。在夜晚，汽車一般會(huì)使用遠(yuǎn)光燈來(lái)增加車輛的夜間可視范圍，但同時(shí)，遠(yuǎn)光燈也會(huì)產(chǎn)生眩光從而給其他駕駛員造成危險(xiǎn)。為克服該問(wèn)題，NVIDIA 利用攝像頭圖像訓(xùn)練了基于攝像頭的 AutoHighBeamNet DNN（如以上視頻所示），該 DNN 可自動(dòng)生成輸出以控制車輛的遠(yuǎn)光燈系統(tǒng)，從而提高夜間行駛的視野范圍和安全性。

AutoHighBeamNet 從廣泛的駕駛場(chǎng)景中進(jìn)行學(xué)習(xí)，以期實(shí)現(xiàn)真正自主可靠的遠(yuǎn)光燈控制。根據(jù)攝像頭圖像中的情況，該 DNN 將車輛分為兩類：任何一輛行駛中的汽車都會(huì)被定義為打開(kāi)前大燈或尾燈的汽車；路邊停放的所有燈都熄滅的汽車則被定義為非活動(dòng)車輛。該 DNN 僅對(duì)根據(jù)攝像頭圖像中感知到正在行駛的車輛做出反應(yīng)。

AutoHighBeamNet 是 AutoDrivingBeam 視覺(jué)感知模塊的一部分，該模塊的輸出可基于汽車制造商的需求進(jìn)行定制，以根據(jù)車輛模塊具體輸入信號(hào)產(chǎn)生相應(yīng)的遠(yuǎn)光燈控制信號(hào)。遠(yuǎn)光燈控制信號(hào)可以采用兩種不同的模式：

• 自動(dòng)遠(yuǎn)光燈（AHB）模式，它提供二進(jìn)制開(kāi)/關(guān)控制。在 AHB 模式下（如下圖所示），車輛的遠(yuǎn)光燈將在夜間照明不佳的情況下自動(dòng)打開(kāi)。但是當(dāng)檢測(cè)到行駛中的車輛進(jìn)入視野范圍時(shí)，遠(yuǎn)光燈會(huì)自動(dòng)關(guān)閉并切換為近光燈。車輛遠(yuǎn)離后，遠(yuǎn)光燈將自動(dòng)重新打開(kāi)。

自動(dòng)開(kāi)/關(guān)遠(yuǎn)光燈控制示例

• 自適應(yīng)驅(qū)動(dòng)光束（ADB）模式，可精確控制各個(gè)遠(yuǎn)光 LED 陣列以創(chuàng)建無(wú)眩光區(qū)域（GFZ）。在 ADB 模式下（如下圖所示），車輛通過(guò)使遠(yuǎn)光燈 LED 陣列前照燈中的各個(gè) LED 變暗來(lái)防止給遠(yuǎn)處行駛車輛中的駕駛員造成眩光。與 AHB 模式相似，在車輛離開(kāi)檢測(cè)范圍后，變暗的區(qū)域?qū)⒆詣?dòng)變回全亮度狀態(tài)。因此，在 ADB 模式下始終可以保持遠(yuǎn)光燈開(kāi)啟，以提高夜間行駛的安全性，同時(shí)也不會(huì)引起其他道路使用者眩光。

自適應(yīng)驅(qū)動(dòng)光束控制示例

NVIDIA 推出的 AutoHighBeamNet，利用 AI 克服了原有局限性，基于感知減少了迎面駛來(lái)的車輛大燈所帶來(lái)的眩光影響，助力提升了自動(dòng)駕駛汽車夜間行駛的安全性。

使用軟件定義的 AI 優(yōu)化光源感知

隨著自動(dòng)駕駛技術(shù)的不斷發(fā)展，利用軟件定義的 AI 來(lái)增強(qiáng)自動(dòng)駕駛汽車的性能和功能，逐漸成為實(shí)現(xiàn)更安全、更高效運(yùn)營(yíng)的最新功能的關(guān)鍵方式。NVIDIA 使用軟件定義的 AI 技術(shù)，在幾周內(nèi)顯著提高了光源感知 DNN 的性能和功能，例如：增加范圍、添加分類功能等。

NVIDIA 的光源感知 DNN 最初的版本采用固定功能設(shè)計(jì)方法，為自動(dòng)駕駛汽車配備了自動(dòng)遠(yuǎn)光燈控制模塊，旨在區(qū)分有主動(dòng)照明的車輛（與無(wú)主動(dòng)照明的車輛，并使用這些結(jié)果提供輸入信號(hào)來(lái)自動(dòng)控制低/高光束切換。在光源感知 DNN 的最新版本中，NVIDIA 使用了軟件定義的 AI 技術(shù)，可在不需要改變底層硬件和平臺(tái)的前提下，通過(guò)軟件更新快速增加和改善 DNN 功能。其中的最新功能包括：

• 擴(kuò)大汽車前車燈和尾燈的檢測(cè)范圍：可檢測(cè)迎面而來(lái)的車輛前燈與前方車輛的尾燈，同時(shí)，對(duì)于車輛前燈的最遠(yuǎn)檢測(cè)范圍超過(guò) 800 米；

• 路燈：將路燈作為一個(gè)單獨(dú)的光源類來(lái)進(jìn)行檢測(cè)；

• 其他照明：檢測(cè)交通信號(hào)燈或者甚至于摩天大樓的燈光等照明；

基于快速軟件定義 AI，可創(chuàng)建一個(gè)全面的經(jīng)過(guò)標(biāo)記的訓(xùn)練數(shù)據(jù)集，并且能將其擴(kuò)展到未來(lái)的用例。該數(shù)據(jù)集面向未來(lái)，捕獲比單一固定功能特征所需的更多信息，并通過(guò)重新排列和重新處理數(shù)據(jù)標(biāo)簽，產(chǎn)生經(jīng)過(guò)改進(jìn)的訓(xùn)練數(shù)據(jù)集，以擴(kuò)展和改進(jìn) DNN 的能力，且后續(xù)在功能更新過(guò)程中也無(wú)需進(jìn)行成本高昂的重新標(biāo)記工作。

NVIDIA 利用軟件定義 AI，在短短幾周內(nèi)就于光源感知 DNN 的功能和性能方面取得了顯著的進(jìn)步，不僅增加了光源感知數(shù)量，還將檢測(cè)范圍提高了 4 倍。NVIDIA 基于 AI 實(shí)現(xiàn)的光源感知功能快速開(kāi)發(fā)和迭代，證明了軟件定義的開(kāi)發(fā)方式存在的顯著優(yōu)勢(shì)。在生產(chǎn)系統(tǒng)中，利用軟件定義的方法可助力廠商通過(guò) OTA 方式快速部署更新功能至消費(fèi)者車輛之上。

未來(lái)，NVIDIA 的光源感知工作還將包括檢測(cè)應(yīng)急和服務(wù)車輛的應(yīng)急閃爍燈，以及檢測(cè)專用照明（如建筑區(qū)域使用的照明）等，不斷拓寬自動(dòng)駕駛車輛的光源檢測(cè)范圍，以實(shí)現(xiàn)更安全、全面的光源檢測(cè)來(lái)支持自動(dòng)駕駛汽車有關(guān)的燈光決策。

以上就是本期全部?jī)?nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 NVIDIA 如何利用 AI 和 RNN 提高自動(dòng)駕駛汽車的路況預(yù)測(cè)和規(guī)劃能力，敬請(qǐng)期待！點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs& Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

往期精彩回看

「入門篇」：自動(dòng)駕駛基礎(chǔ)功能

「第二站」：基本路況感知

「第三站」：讀懂交通標(biāo)志與信號(hào)燈

「第四站」：監(jiān)控車外的風(fēng)吹草動(dòng)

掃描下方海報(bào)二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時(shí)間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國(guó)重播。深度解讀 NVIDIA 加速計(jì)算平臺(tái)如何推動(dòng)人工智能、元宇宙、云技術(shù)和可持續(xù)計(jì)算的下一波浪潮。加入 GTC23，切勿錯(cuò)過(guò) AI 的決定性時(shí)刻！