自動駕駛仿真平臺的關(guān)鍵構(gòu)成及技術(shù)趨勢分析

1. 自動駕駛仿真平臺的關(guān)鍵構(gòu)成

自動駕駛仿真平臺需支持車輛動力學(xué)仿真、環(huán)境感知傳感器仿真、交通場景仿真等；

車輛動力學(xué)仿真：基于多體動力學(xué)搭建的模型，將車體、轉(zhuǎn)向、懸架、輪胎、制動、I/O硬件接口等在內(nèi)的多個真實部件進行參數(shù)化建模，來實現(xiàn)車輛模型運動過程中的姿態(tài)和運動學(xué)仿真模擬；雖然是比較傳統(tǒng)的一部分，卻是構(gòu)建自動駕駛仿真測試系統(tǒng)的不可或缺的重要基礎(chǔ)。

環(huán)境感知傳感器仿真：主要包括攝像頭、激光雷達(dá)、毫米波雷達(dá)、GPS/IMU等傳感器的建模仿真，它是構(gòu)建自動駕駛仿真系統(tǒng)的關(guān)鍵技術(shù)和重要環(huán)節(jié)；

交通場景仿真：包括靜態(tài)場景還原和動態(tài)場景仿真兩部分，靜態(tài)場景還原主要通過高精地圖和三維建模技術(shù)來實現(xiàn)；動態(tài)場景仿真既可通過把真實路采數(shù)據(jù)經(jīng)過算法抽取后，再結(jié)合已有高精地圖進行創(chuàng)建，也可通過對隨機生成的交通流基于統(tǒng)計學(xué)的比例，經(jīng)過人工設(shè)置相關(guān)參數(shù)后自動生成復(fù)雜的交通環(huán)境。交通場景仿真是構(gòu)建自動駕駛仿真系統(tǒng)的重要保障。 ? 由于車輛動力學(xué)仿真比較傳統(tǒng)，并且相對來說已經(jīng)比較成熟，這里便不再做過多介紹。下面重點講一下傳感器仿真和交通場景仿真。 ? ?

1.1 傳感器仿真

1.1.1 傳感器仿真的三個層級

環(huán)境感知傳感器仿真是自動駕駛系統(tǒng)仿真測試中至關(guān)重要一部分，主要包括：攝像頭仿真、激光雷達(dá)仿真、毫米波雷達(dá)仿真、定位仿真（GPS、IMU）。依據(jù)仿真的難易程度，傳感器仿真的又可分為三個層級：物理信號仿真、原始信號仿真和目標(biāo)級信號仿真。

1）物理信號仿真：直接仿真?zhèn)鞲衅鹘邮盏降男盘?—— 光學(xué)信號就是攝像頭的物理信號；電磁波和聲波信號分別是毫米波雷達(dá)和超聲波雷達(dá)的物理信號。

2）原始信號仿真：把傳感器探測的單元拆掉，直接仿真數(shù)字處理芯片的輸入單元。對于攝像頭-通過視頻注入來實現(xiàn)；毫米波雷達(dá)-把信號直接注入FPGA/DSP 信號處理模塊或PC 信號處理程序；激光雷達(dá)-通過點云信號來實現(xiàn)。

3）目標(biāo)級信號仿真：直接將傳感器檢測的理想目標(biāo)仿真到?jīng)Q策層的輸入端；這種信號的形式一般是CAN總線輸入信號或其它通訊協(xié)議格式輸入信號；對于攝像頭、激光雷達(dá)以及毫米波雷達(dá)等傳感器，均可通過CAN總線來實現(xiàn)。

那么，主流傳感器的物理信號仿真又是怎么實現(xiàn)的？對于攝像頭-通過視頻暗箱來實現(xiàn)；毫米波雷達(dá)-通過毫米波雷達(dá)模擬器來實現(xiàn)；超聲波雷達(dá) - 通過超聲波雷達(dá)仿真盒來實現(xiàn)；然而，對于激光雷達(dá)的物理信號仿真，目前尚無有效解決方案。

1.1.2?? 傳感器仿真的基本思路

1）激光雷達(dá)仿真思路：參照真實激光雷達(dá)的掃描方式，模擬出激光雷達(dá)發(fā)射出和接收到的每一條射線，并且還要對發(fā)射出的射線與場景中所有物體求交。

激光雷達(dá)反射強度與障礙物的距離、激光發(fā)射角度以及障礙物本身的物理材質(zhì)相關(guān)。并且激光雷達(dá)探測范圍大，發(fā)射出去的激光線束又十分密集，且在環(huán)境中存在多次反射、遮蔽等影響，計算返回的激光束比較復(fù)雜；很難較為真實對激光雷達(dá)信號的回波進行模擬?，F(xiàn)有激光雷達(dá)模型，多是根據(jù)每一種物理材質(zhì)的激光反射率直接計算回波信號，如此計算必然會與現(xiàn)實中的回波信號存在一定的誤差。

另外，激光雷達(dá)仿真需要支持的參數(shù)配置包括安裝位置和角度、工作頻率，最大探測距離，線數(shù)和水平分辨率，垂直視場角和水平視場角。

2）攝像頭仿真的思路：基于環(huán)境物體的幾何空間生成逼真的圖像，再根據(jù)物體的真實材質(zhì)與紋理，通過計算機圖形學(xué)對三維模型添加顏色和光學(xué)屬性等，來仿真模擬圖像合成。

對于顏色和光學(xué)屬性等元素，一般情況下使用物理渲染引擎來實現(xiàn)。比如騰訊TAD Sim 、巴塞羅那自治大學(xué)CARLA以及微軟AirSim采用虛幻引擎UE（Unreal Engine），百度Apollo仿真平臺和LG的LGSVL Simulator采用Unity引擎。

攝像頭仿真需要支持相機的鏡頭的結(jié)構(gòu)和光學(xué)特性，比如焦距、畸變、亮度調(diào)節(jié)、色彩空間等；支持內(nèi)/外參及畸變參數(shù)的調(diào)整，比如攝像頭安裝位置、分辨率、工作頻率、視場角和畸變參數(shù)等；需能夠要模擬大雪、大雨、大霧等各種復(fù)雜天氣以及不同時間段和不同天氣下的光線條件。

3）毫米波雷達(dá)仿真思路：根據(jù)測試車輛所配置雷達(dá)的視場角和分辨率信息，向不同方向發(fā)射一系列虛擬連續(xù)調(diào)頻毫米波，并接收目標(biāo)的反射信號。由于受多徑反射，干涉，反射表面，離散單元和衰減等影響，反射信號模擬較為困難。

毫米波雷達(dá)仿真支持的功能：安裝位置，角度，探測距離，探測角度，角度和距離分辨率等參數(shù)的調(diào)整。另外對于某些兼有長距和中距探測功能的毫米波雷達(dá)，仿真時則需要同時支持兩者的參數(shù)設(shè)置。

1.2?交通流仿真

交通流仿真是先通過環(huán)境感知傳感器采集真實交通場景，經(jīng)處理后導(dǎo)入到仿真平臺，再基于數(shù)據(jù)驅(qū)動的方法，直接復(fù)現(xiàn)或泛化構(gòu)建出更多的交通場景。例如Waymo的交通流仿真便是采用了此方法，通過合理地更改真實場景的某些數(shù)據(jù)特征，便可泛化生成新的交通流場景。

構(gòu)建高置信度的交通流環(huán)境是自動駕駛仿真測試能夠順利開展的首要條件。?交通流仿真模型根據(jù)仿真模型的大小又可分為：宏觀模型、微觀模型和中觀模型。

宏觀模型是模擬大規(guī)模交通的有效工具，研究對象是多個車輛的集合，將車輛集合視為一個連續(xù)的流動。用流量密度和交通流量等集體量測量的聚集行為，比如車流平均速度以及平均密度等集體屬性。然而它的局限性在于其應(yīng)用僅限于高速公路網(wǎng)絡(luò)，不適合模擬包含了汽車之間豐富交互行為的城市交通。

離散道路

中觀模型介于宏觀模型和微觀模型之間，它結(jié)合了兩者的優(yōu)點，可以模擬不同層次的交通細(xì)節(jié)。

微觀模型主要研究對象是單個車輛，模擬每輛車在其它周圍車輛或行人影響下的動態(tài)行為。建立微觀模型的目的是描述特定的車輛行為，適合于城市交通仿真，可以用來模擬多車道以及交叉路口的交通情況。

必須換道的情況（圖片來源于網(wǎng)絡(luò)）

自動駕駛仿真測試中交通流仿真主要是微觀交通流仿真，主要研究單個車輛與駕駛員單元的之間的行為交互。在傳統(tǒng)交通工程領(lǐng)域，微觀交通流仿真主要是為了分析人類駕駛行為而建立的解析模型。隨著從人類駕駛轉(zhuǎn)向機器駕駛，機器學(xué)習(xí)方法開始發(fā)揮作用，對于自動駕駛系統(tǒng)仿真系統(tǒng)而言，微觀交通流仿真的作用主要是通過擬合真實駕駛數(shù)據(jù)學(xué)習(xí)人類駕駛行為或通過強化學(xué)習(xí)得到最優(yōu)駕駛策略。

2. 自動駕駛仿真測試平臺類型和核心能力

2.1? 不同的類型

根據(jù)被測對象的不同，自動駕駛仿真平臺實可分為：模型在環(huán)（MIL）、軟件在環(huán)（SIL）、硬件在環(huán)（HIL）、駕駛員在環(huán)（DIL）以及車輛在環(huán)（VIL）。

1）模型在環(huán)（MIL）：適用于控制器開發(fā)的初期階段及建模階段，全是虛擬的對象，沒有硬件參與系統(tǒng)測試，通過輸入一系列的測試用例來驗證模型是否滿足設(shè)計的功能需求。用于自動駕駛系統(tǒng)感知算法、決策與規(guī)劃算法以及控制執(zhí)行算法的驗證與迭代。

2）軟件在環(huán)（SIL）：軟件在環(huán)測試沒有真實部件，測試結(jié)果依賴于傳感器模型、車輛動力學(xué)模型以及環(huán)境模型的逼真程度，仿真的置信度相對較低。

適用于自動駕駛算法迭代初期，對算法模型進行代碼轉(zhuǎn)換，形成代碼后需要進行代碼與算法模型的等效測試。

軟件在環(huán)測試是為了驗證自動生成的代碼的正確性，即自動生成的代碼和用于生成代碼的模型行為上是否一致。

當(dāng)前SIL主要用于感知識別算法的驗證測試，且需要大量的數(shù)據(jù)集來進行機器學(xué)習(xí)算法訓(xùn)練，比較主流的數(shù)據(jù)集有Cityscapes、ImageNet（ILSVRC），COCO，PASCAL VOC，KITTI等。

注：SIL測試是MIL的一種等效測試，等效分析的目的是為了防止代碼生成的過程中出現(xiàn)錯誤，SIL 的測試用例都是借用的MIL，一旦前面的測試用例錯誤，后面必然將會一錯再錯。

3）硬件在環(huán)（HIL）：硬件在環(huán)通過將需要驗證的真實的物理硬件（一般是控制器）引入到閉環(huán)系統(tǒng)中，控制器接收被控對象（仿真模型）的狀態(tài)并發(fā)出控制指令，然后得到被控對象（仿真模型）反饋并再次發(fā)出控制指令。

4）駕駛員在環(huán)（DIL）：基于駕駛員和硬件在環(huán)的實時仿真技術(shù)，利用動態(tài)駕駛員模擬器、環(huán)境視聽模擬設(shè)備及相關(guān)人車檢測設(shè)備模擬“人-車-環(huán)境”在實際車輛駕駛中的信息交互。它能夠采集駕駛員行為數(shù)據(jù)并分析駕駛員行為特征，也可以完成HMI測試以及駕駛員對自動駕駛系統(tǒng)的主觀評價。

5）車輛在環(huán)（VIL）：由實車代替車輛動力學(xué)模型引入至虛擬環(huán)境中進行測試，主要目的是驗證整車相關(guān)電控系統(tǒng)的匹配及集成測試。它主要包括兩種形式：封閉場地車輛在環(huán)和轉(zhuǎn)轂平臺車輛在環(huán)。一般是在封閉實驗室或者在空曠的測試場地中，通過構(gòu)建多種復(fù)雜的虛擬駕駛場景，如惡劣的天氣、極端的工況等，來測試和驗證整車的功能和性能。

車輛在環(huán)仿真測試示意圖（圖片來源于網(wǎng)絡(luò)）

2.2? 仿真平臺的核心能力

1）測試場景的高逼真還原：包括場景的幾何還原、物理還原和邏輯還原。幾何還原指現(xiàn)實世界中三維場景中物體的形狀、大小及相互位置關(guān)系的還原；物理還原指對現(xiàn)實世界中各物體物理屬性的還原，讓其在仿真時間里重現(xiàn)真實世界的物理運動規(guī)律，比如雨雪天道路的摩擦系數(shù)會降低，剎車距離會加大；邏輯還原指還原場景內(nèi)的各種元素的邏輯行為，讓其都遵循其現(xiàn)實世界中的一般運動規(guī)律。

2）基于路采數(shù)據(jù)的場景自動化生成：為了保證測試場景的真實度，需要以大量的路采數(shù)據(jù)作為基礎(chǔ)；

直接將采集數(shù)據(jù)回放一遍以驗證自動駕駛算法的這種以回放式仿真是最簡單、最常見的一種方式。這方式僅適用于開環(huán)仿真，并且數(shù)據(jù)的利用率太低。而自動駕駛仿真測試需要海量的測試場景的支撐，單純依靠路采數(shù)據(jù)將會耗費大量的人力成本和時間成本。因此能夠基于有限的路采數(shù)據(jù)能夠智能化、自動化的泛化出無限的場景，快速構(gòu)建場景庫，是自動駕駛仿真平臺是必備核心能力之一。

3）具備云端并行加速計算：ADAS系統(tǒng)驗證僅需要滿足特定場景下的功能需求即可，而證明高階自動駕駛算法的完備性，至少需要對數(shù)十萬的測試場景進行回歸測試。依靠本地測試存在算力不足，測試周期長，效率低等問題。以分布式架構(gòu)為特征的云計算憑借其強大的并行加速計算能力，從根本上解決了自動駕駛仿真測試的效率問題，是自動駕駛仿真平臺的核心競爭力之一。

3. 自動駕駛仿真技術(shù)趨勢分析

3.1? 云仿真

ADAS功能僅需要在有限特定的場景下進行仿真測試便可驗證功能的性能，而高階自動駕駛系統(tǒng)需要面對海量的測試場景。

相比于傳統(tǒng)ADAS功能仿真測試，自動駕駛系統(tǒng)仿真測試對服務(wù)器的數(shù)據(jù)存儲能力以及算力需求呈現(xiàn)較快增長趨勢。

傳統(tǒng)的單機仿真測試呈現(xiàn)出算力不足，且無法實現(xiàn)加速測試的問題，導(dǎo)致測試周期長，效率低；而云計算憑借其強大算力以及并行加速計算能力，是實現(xiàn)自動駕駛大規(guī)模仿真場景的有效解決方案，大大提升系統(tǒng)研發(fā)和測試效率。

“八爪魚”云仿真服務(wù)（圖片來源于網(wǎng)絡(luò)）

云仿真有兩種常見的加速計算方式：

1) 并行計算 - 空間加速

對于大規(guī)模的仿真任務(wù)，這個時候單機仿真測試就存在性能上的瓶頸；單個計算節(jié)點無法很好的完成任務(wù)。需要采用一種機制將仿真任務(wù)分配到多個機器上，進行協(xié)同工作。云仿真的分布式框架可以將存儲和計算任務(wù)進行拆分，讓每個計算節(jié)點單獨承擔(dān)一小部分任務(wù)，這樣多個機器便可協(xié)同完成一件巨大的任務(wù)，既能降低對個單個節(jié)點的性能需求，又很好的保證了系統(tǒng)整體的計算能力和存儲容量。

2) 引入虛擬時間 - 時間加速

引入虛擬時間，并根據(jù)當(dāng)前仿真任務(wù)的完成情況隨時調(diào)控整個仿真平臺系統(tǒng)的運轉(zhuǎn)速度，在保證各個仿真節(jié)點加速程度保持同步的基礎(chǔ)上，讓各個仿真節(jié)點能夠以高于真實時間的節(jié)奏運行，從而大大縮短整個仿真任務(wù)的完成時間。

云仿真計算常見的分布式框架有：Hadoop，Apache Storm，Apache Spark。

Apache Storm 是一個免費開源、分布式、高容錯的實時大數(shù)據(jù)處理系統(tǒng)，設(shè)計用于在容錯和水平可擴展方法中處理大量數(shù)據(jù)，擅長實時大數(shù)據(jù)流處理。

Apache Spark 基于 MapReduce 分布式計算框架，專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎，但它并不會像Storm那樣一次一個地處理數(shù)據(jù)流，而是在處理前按時間間隔預(yù)先將其切分為一段一段的批處理作業(yè)；同時加入了緩存機制保存中間計算結(jié)果, 相比Hadoop，優(yōu)化了因為I/O帶來的計算性能瓶頸問題。

Hadoop 基于MapReduce 分布式計算框架和Nutch Distributed File System (NDFS)存儲框架，擅長處理靜態(tài)數(shù)據(jù)；它也屬于分批處理系統(tǒng)，不擅長實時計算。

3.2 數(shù)字孿生

當(dāng)前的的自動駕駛仿真測試存在以下問題：a. 復(fù)雜交通場景搭建的難度大、成本高、安全風(fēng)險大，如隧道、多車沖突、預(yù)期功能安全場景等；b. 軟硬件在環(huán)測試依賴車輛動力學(xué)模型，但模型難以復(fù)現(xiàn)真實車輛動力學(xué)，其精度對測試有較大影響；c. 開放道路中的交通參與物、交通流等不易復(fù)現(xiàn)，不便開展大量的重復(fù)測試,等等。

數(shù)字孿生技術(shù)通過“虛實結(jié)合”，將真實車輛動力學(xué)和虛擬復(fù)雜交通場景緊密聯(lián)系，并在測試過程中實時交互，可有效解決現(xiàn)有測試方法的不足。數(shù)字孿生技術(shù)是自動駕駛仿真測試的增效利器，是自動駕駛車輛快速實現(xiàn)商業(yè)化落地道路上的一大助力。那么，究竟什么是數(shù)字孿生呢？

美國國防軍需大學(xué)(Defense Acquisition University)對數(shù)字孿生的定義是：數(shù)字孿生是充分利用物理模型、傳感器更新、運行歷史等數(shù)據(jù)，集成多學(xué)科、多物理量、多尺度、多概率的仿真過程，在虛擬空間中完成映射，從而反映相對應(yīng)的實體裝備的全生命周期過程。

數(shù)字孿生也叫“數(shù)字雙胞胎”，以數(shù)字化方式拷貝一個物理對象，模擬對象在現(xiàn)實環(huán)境中的行為；即創(chuàng)造出一個有效的“復(fù)制品”出來。就像西游記里的真假“美猴王”，兩個對象屬性相差無幾，不僅外觀相貌相同，甚至連法術(shù)技能都一樣。

對于自動駕駛仿真測試來講，數(shù)字孿生技術(shù)的典型應(yīng)用是自動駕駛數(shù)字孿生測試VRIL（Virtual Reality in the Loop）；就是利用數(shù)字孿生技術(shù)創(chuàng)造出和現(xiàn)實世界一致的虛擬環(huán)境模型，真實的車輛在真實的測試場地或道路中進行測試的同時，將同步映射到虛擬的測試環(huán)境中去，從而形成一個虛實結(jié)合的整車閉環(huán)測試。

基于場景庫的自動駕駛測試體系（圖片來源于網(wǎng)絡(luò)）

虛擬環(huán)境中有與真實世界中一樣的道路、交通參與者、測試車輛及其配置的傳感器模型。真實世界的測試車輛在現(xiàn)實環(huán)境中的各種運動狀態(tài)信息以及傳感器采集到的環(huán)境信息，都會在虛擬環(huán)境里同步更新。

同時，虛擬環(huán)境中的傳感器模型探測到的目標(biāo)信息也可以反饋給現(xiàn)實世界中的測試車輛進行信息融合與輔助決策。因此，現(xiàn)實世界和虛擬環(huán)境之間就實現(xiàn)了信息和狀態(tài)的交互，實現(xiàn)了數(shù)字孿生系統(tǒng)的閉環(huán)實時仿真測試。

3.3??混合交通流仿真

自動駕駛車輛取代傳統(tǒng)汽車不是一蹴而就的事情，必然在相當(dāng)?shù)囊欢螘r間內(nèi)處于兩者共存的局面，因此傳統(tǒng)汽車與自動駕駛汽車混行將是一種常見的交通場景。國家信息中心主任徐長明曾在一個會議上指出，中國發(fā)展L4、L5級自動駕駛最大的困境是“混合交通”，即自動駕駛汽車跟非自動駕駛混行。

城市混合交通流微觀仿真系統(tǒng)示例（圖片來源于網(wǎng)絡(luò)）

有相關(guān)專家提出，解決這一問題的關(guān)鍵是實現(xiàn)自動駕駛車輛由單體智能向群體智能轉(zhuǎn)變，即我國主導(dǎo)的車-路-云一體化的網(wǎng)聯(lián)協(xié)同智能 ——? 通過聯(lián)網(wǎng)實現(xiàn)超視距感知和提前預(yù)知，進而減輕單個車輛在環(huán)境感知層面的壓力；通過云端大腦集中決策，減輕單個車輛在決策層面的壓力，并提升決策的效率和可靠性。

能否解決好自動駕駛車輛在混合交通條件下的安全問題，將成為決定自動駕駛車輛能否實現(xiàn)商業(yè)化落地的關(guān)鍵因素。基于混合交通下條件下的測試場景（尤其是混合交通條件下的V2X場景測試）將是未來自動駕駛仿真測試的重要研究方向，甚至需要針對自動駕駛車輛在不同滲透率下的混合交通模型進行仿真測試。

參考資料：

1. 汽車智能駕駛模擬仿真技術(shù)（圖書）?| 機械工業(yè)出版社

2. 汽車自動駕駛仿真測試藍(lán)皮書（圖書）?| 電子工業(yè)出版社

3. 中國自動駕駛仿真技術(shù)研究報告2019（報告）

4. 2020中國自動駕駛仿真藍(lán)皮書（報告）

5. ?交通工程跨界思考：無人駕駛仿真中的交通流仿真，可用平臺有哪些？

https://mp.weixin.qq.com/s/Y0qN-EuQqWBwsyxbNpBTQA

6. 交通流仿真綜述

https://mp.weixin.qq.com/s/Phikehg4UuLQp32w6ISLhw

7.數(shù)字孿生與自動駕駛測試

https://www.sohu.com/a/417352736_468661

8.數(shù)字孿生技術(shù)在自動駕駛測試領(lǐng)域的應(yīng)用研究概述

https://www.auto-testing.net/news/show-110318.html

9. 自動駕駛模擬仿真系統(tǒng)中的傳感器模型

https://zhuanlan.zhihu.com/p/66963787

10. 仿真測試是自動駕駛的必由之路?| 厚勢汽車

https://www.sohu.com/a/241962244_465591

11. 自動駕駛下半場突圍：虛擬仿真核心技術(shù)必須做到自主可控

https://finance.sina.com.cn/roll/2020-10-14/doc-iiznezxr5919819.shtml

12. 張帆：仿真測試是汽車安全性最基本的保障工具?| 中國汽車報

https://mp.weixin.qq.com/s/JwsDYF1jRGmnGz9nuh7xSw

13. 李慢慢：仿真技術(shù)在自動駕駛時代下的使命

https://www.fangzhenxiu.com/post/1853946

14. 自動駕駛中的corner cases

https://mp.weixin.qq.com/s/CGzbYtIrm6iajnbX-FADJg

15. 處理大數(shù)據(jù)流常用的三種Apache框架：Storm、Spark和Samza

https://www.cnblogs.com/myinspire/p/7273125.html

16. 虛擬仿真測試介紹：硬件在環(huán)（HIL）測試簡介

https://mp.weixin.qq.com/s/CeSzo4SJitcQ-YcYavbEvA

17. 駕駛員在環(huán)（DIL）：虛擬重構(gòu)與孿生驗證

https://mp.weixin.qq.com/s/_wYjpmV8yGwiHc77qBL_lA

18. 基于場景的自動駕駛汽車虛擬仿真測試研究

https://zhuanlan.zhihu.com/p/85613284

19. 仿真測試！揭秘零愿景下的自動駕駛測試新趨勢

https://www.auto-testing.net/news/show-111494.html

編輯：黃飛

?