港中文等發(fā)布MagicDrive：日夜、雨晴、多視角全覆蓋，人、物位置隨意變更

【導讀】MagicDrive可以細粒度生成高保真、多相機街景，可以隨意變換天氣、光照條件以及人物位置，海量自動駕駛數據觸手可及！

在深度學習算法的應用中，高質量的數據是技術創(chuàng)新的關鍵驅動力，尤其在自動駕駛領域，獲取和標注3D感知數據的成本不菲，對于許多研究者和開發(fā)者來說都是一個重大挑戰(zhàn)。

為此，來自香港中文大學、香港科技大學和華為諾亞方舟實驗室的研究人員聯(lián)合提出了基于 Diffusion的3D自動駕駛數據生成方法MagicDrive。

通過多種3D幾何條件的細粒度控制，MagicDrive在生成高保真多相機街景圖像的同時，還能夠支持多種下游感知任務的訓練。

論文地址：https://arxiv.org/abs/2310.02601

項目主頁：https://gaoruiyuan.com/magicdrive/

Github: https://github.com/cure-lab/MagicDrive

?MagicDrive多樣化生成數據

MagicDrive是一個突破性的解決方案利用可控生成技術合成自動駕環(huán)視相機視圖，生成更多樣化的自動駕駛數據，為自動駕駛場景仿真提供了新思路。

先來看一些MagicDrive的生成效果。

多視角下，前景和背景都能保持一致性：

可以一鍵轉雨天：

不止生成車，人、障礙物都能準確控制位置：

還可以一鍵轉夜晚：

物體位置可以實現(xiàn)細粒度控制：

?

?關鍵問題：多種3D條件的編碼與注入

描述自動駕駛場景的條件是多維度的，包括：相機參數、物體框、路面地圖以及對場景屬性的語言描述（比如天氣和時間）。如何將如此復雜的場景信息同時作為條件指導生成，是3D自動駕駛街景數據合成的重點問題。

BEVGen[1]將3D幾何信息（路面和物體位置）都投影在BEV空間中，這會丟失全部高度信息，既無法控制物體高度/遮擋，也無法體現(xiàn)路面起伏；BEVControl[2]將3D幾何信息分別投影在相機視圖中，對于沒有高度信息的路面地圖而言，投影本身就是一個欠定義的問題，而且這種做法丟失了深度信息，同樣無法準確控制遮擋。

?

3D幾何信息與不同2D投影（相機投影/BEV）控制的比較

MagicDrive在完整考慮這些控制條件的基礎上，首次實現(xiàn)3D幾何的直接控制。MagicDrive結合Diffusion Model進行條件生成的優(yōu)勢，根據每個控制條件的形式，采用不同的方法對生成進行控制。

MagicDrive的方法框架

具體來說，對于場景級別的信息（語言描述和相機參數）和物體框信息，由于他們具有可變長的性質，MagicDrive先使用不同的編碼器講輸入數據編碼成嵌入序列，然后使用交叉注意力模塊控制圖像生成過程；

對于路面地圖信息，BEV能夠很好地將路面表示成圖像的形式，因此，使用類似ControlNet[3]的額外編碼器分支，就能夠讓生成遵循路面地圖的條件。

刪繁就簡：不同視角的一致性生成

多視角一致性是3D場景相機視圖生成的另一個重要要求。此前，已經有一些工作探索了室內場景中的多視角一致性約束方法，例如：MVDiffusion[5]和[6]，但室內場景通常視角之間重疊較大，因此他們借助了不同的幾何先驗來限制視角之間的關系。

對于自動駕駛場景，不同相機之間重疊程度是有限的，因此并不需要過強的幾何約束。相反，在幾何條件足夠的情況下（即不同視角已經有獨立的幾何條件信息），只需要讓不同視角的生成過程有信息交互，就能夠保證前景和背景的一致生成。

因此MagicDrive提出cross-view attention模塊，用于在各個視角的生成過程中與左右相鄰視角交換信息，確保了從多個視角看到的前景和背景是一致的，這大大提高了數據的真實性與可靠性。

Corss-view attention 模塊控制多視角的一致性

生成效果：在多個下游任務上提升明顯

用以真實圖像訓練的感知模型評價生成模型產生的圖片，MagicDrive不僅可以在BEV分割任務上超過baseline，并且能夠直接支持3D物體檢測任務，體現(xiàn)出優(yōu)越的生成效果。

MagicDrive生成的圖片還可以直接用于數據增強，支持BEV分割和3D物體檢測任務，提升BEVFusion[6]和CVT[7]的性能。

除此之外，MagicDrive的多條件控制還可以實現(xiàn)場景、背景和前景的多層次街景圖像編輯，用來生成更多的新街景圖像。

更多評價結果與討論請參考原論文。

總結

總的來說，MagicDrive帶給我們一個全新的、高效的數據生成途徑。不僅成功解決了之街景生成中的3D幾何控制問題，而且提供了一種全新的方法，利用細粒度可控生成技術為3D自動駕駛產生訓練數據，生成數據的質量和真實性向自動駕駛的感知技術注入了新的活力。