自動駕駛仿真測試平臺干貨內(nèi)容梳理

1. 自動駕駛仿真平臺的關(guān)鍵構(gòu)成

自動駕駛仿真平臺需支持車輛動力學(xué)仿真、環(huán)境感知傳感器仿真、交通場景仿真等；

車輛動力學(xué)仿真：基于多體動力學(xué)搭建的模型，將車體、轉(zhuǎn)向、懸架、輪胎、制動、I/O硬件接口等在內(nèi)的多個真實(shí)部件進(jìn)行參數(shù)化建模，來實(shí)現(xiàn)車輛模型運(yùn)動過程中的姿態(tài)和運(yùn)動學(xué)仿真模擬；雖然是比較傳統(tǒng)的一部分，卻是構(gòu)建自動駕駛仿真測試系統(tǒng)的不可或缺的重要基礎(chǔ)。

環(huán)境感知傳感器仿真：主要包括攝像頭、激光雷達(dá)、毫米波雷達(dá)、GPS/IMU等傳感器的建模仿真，它是構(gòu)建自動駕駛仿真系統(tǒng)的關(guān)鍵技術(shù)和重要環(huán)節(jié)；

交通場景仿真：包括靜態(tài)場景還原和動態(tài)場景仿真兩部分，靜態(tài)場景還原主要通過高精地圖和三維建模技術(shù)來實(shí)現(xiàn)；動態(tài)場景仿真既可通過把真實(shí)路采數(shù)據(jù)經(jīng)過算法抽取后，再結(jié)合已有高精地圖進(jìn)行創(chuàng)建，也可通過對隨機(jī)生成的交通流基于統(tǒng)計(jì)學(xué)的比例，經(jīng)過人工設(shè)置相關(guān)參數(shù)后自動生成復(fù)雜的交通環(huán)境。交通場景仿真是構(gòu)建自動駕駛仿真系統(tǒng)的重要保障。 由于車輛動力學(xué)仿真比較傳統(tǒng)，并且相對來說已經(jīng)比較成熟，這里便不再做過多介紹。下面重點(diǎn)講一下傳感器仿真和交通場景仿真。

1.1 傳感器仿真

1.1.1 傳感器仿真的三個層級

環(huán)境感知傳感器仿真是自動駕駛系統(tǒng)仿真測試中至關(guān)重要一部分，主要包括：攝像頭仿真、激光雷達(dá)仿真、毫米波雷達(dá)仿真、定位仿真（GPS、IMU）。依據(jù)仿真的難易程度，傳感器仿真的又可分為三個層級：物理信號仿真、原始信號仿真和目標(biāo)級信號仿真。

1）物理信號仿真：直接仿真?zhèn)鞲衅鹘邮盏降男盘?—— 光學(xué)信號就是攝像頭的物理信號；電磁波和聲波信號分別是毫米波雷達(dá)和超聲波雷達(dá)的物理信號。

2）原始信號仿真：把傳感器探測的單元拆掉，直接仿真數(shù)字處理芯片的輸入單元。對于攝像頭-通過視頻注入來實(shí)現(xiàn)；毫米波雷達(dá)-把信號直接注入FPGA/DSP 信號處理模塊或PC 信號處理程序；激光雷達(dá)-通過點(diǎn)云信號來實(shí)現(xiàn)。

3）目標(biāo)級信號仿真：直接將傳感器檢測的理想目標(biāo)仿真到?jīng)Q策層的輸入端；這種信號的形式一般是CAN總線輸入信號或其它通訊協(xié)議格式輸入信號；對于攝像頭、激光雷達(dá)以及毫米波雷達(dá)等傳感器，均可通過CAN總線來實(shí)現(xiàn)。

那么，主流傳感器的物理信號仿真又是怎么實(shí)現(xiàn)的？對于攝像頭-通過視頻暗箱來實(shí)現(xiàn)；毫米波雷達(dá)-通過毫米波雷達(dá)模擬器來實(shí)現(xiàn)；超聲波雷達(dá) - 通過超聲波雷達(dá)仿真盒來實(shí)現(xiàn)；然而，對于激光雷達(dá)的物理信號仿真，目前尚無有效解決方案。

1.1.2 傳感器仿真的基本思路

1）激光雷達(dá)仿真思路：參照真實(shí)激光雷達(dá)的掃描方式，模擬出激光雷達(dá)發(fā)射出和接收到的每一條射線，并且還要對發(fā)射出的射線與場景中所有物體求交。

激光雷達(dá)反射強(qiáng)度與障礙物的距離、激光發(fā)射角度以及障礙物本身的物理材質(zhì)相關(guān)。并且激光雷達(dá)探測范圍大，發(fā)射出去的激光線束又十分密集，且在環(huán)境中存在多次反射、遮蔽等影響，計(jì)算返回的激光束比較復(fù)雜；很難較為真實(shí)對激光雷達(dá)信號的回波進(jìn)行模擬?，F(xiàn)有激光雷達(dá)模型，多是根據(jù)每一種物理材質(zhì)的激光反射率直接計(jì)算回波信號，如此計(jì)算必然會與現(xiàn)實(shí)中的回波信號存在一定的誤差。

另外，激光雷達(dá)仿真需要支持的參數(shù)配置包括安裝位置和角度、工作頻率，最大探測距離，線數(shù)和水平分辨率，垂直視場角和水平視場角。

2）攝像頭仿真的思路：基于環(huán)境物體的幾何空間生成逼真的圖像，再根據(jù)物體的真實(shí)材質(zhì)與紋理，通過計(jì)算機(jī)圖形學(xué)對三維模型添加顏色和光學(xué)屬性等，來仿真模擬圖像合成。

對于顏色和光學(xué)屬性等元素，一般情況下使用物理渲染引擎來實(shí)現(xiàn)。比如騰訊TAD Sim 、巴塞羅那自治大學(xué)CARLA以及微軟AirSim采用虛幻引擎UE（Unreal Engine），百度Apollo仿真平臺和LG的LGSVL Simulator采用Unity引擎。

攝像頭仿真需要支持相機(jī)的鏡頭的結(jié)構(gòu)和光學(xué)特性，比如焦距、畸變、亮度調(diào)節(jié)、色彩空間等；支持內(nèi)/外參及畸變參數(shù)的調(diào)整，比如攝像頭安裝位置、分辨率、工作頻率、視場角和畸變參數(shù)等；需能夠要模擬大雪、大雨、大霧等各種復(fù)雜天氣以及不同時間段和不同天氣下的光線條件。

3）毫米波雷達(dá)仿真思路：根據(jù)測試車輛所配置雷達(dá)的視場角和分辨率信息，向不同方向發(fā)射一系列虛擬連續(xù)調(diào)頻毫米波，并接收目標(biāo)的反射信號。由于受多徑反射，干涉，反射表面，離散單元和衰減等影響，反射信號模擬較為困難。

毫米波雷達(dá)仿真支持的功能：安裝位置，角度，探測距離，探測角度，角度和距離分辨率等參數(shù)的調(diào)整。另外對于某些兼有長距和中距探測功能的毫米波雷達(dá)，仿真時則需要同時支持兩者的參數(shù)設(shè)置。

1.2交通流仿真

交通流仿真是先通過環(huán)境感知傳感器采集真實(shí)交通場景，經(jīng)處理后導(dǎo)入到仿真平臺，再基于數(shù)據(jù)驅(qū)動的方法，直接復(fù)現(xiàn)或泛化構(gòu)建出更多的交通場景。例如Waymo的交通流仿真便是采用了此方法，通過合理地更改真實(shí)場景的某些數(shù)據(jù)特征，便可泛化生成新的交通流場景。

構(gòu)建高置信度的交通流環(huán)境是自動駕駛仿真測試能夠順利開展的首要條件。交通流仿真模型根據(jù)仿真模型的大小又可分為：宏觀模型、微觀模型和中觀模型。

宏觀模型是模擬大規(guī)模交通的有效工具，研究對象是多個車輛的集合，將車輛集合視為一個連續(xù)的流動。用流量密度和交通流量等集體量測量的聚集行為，比如車流平均速度以及平均密度等集體屬性。然而它的局限性在于其應(yīng)用僅限于高速公路網(wǎng)絡(luò)，不適合模擬包含了汽車之間豐富交互行為的城市交通。

離散道路（圖片來源于網(wǎng)絡(luò)）

中觀模型介于宏觀模型和微觀模型之間，它結(jié)合了兩者的優(yōu)點(diǎn)，可以模擬不同層次的交通細(xì)節(jié)。

微觀模型主要研究對象是單個車輛，模擬每輛車在其它周圍車輛或行人影響下的動態(tài)行為。建立微觀模型的目的是描述特定的車輛行為，適合于城市交通仿真，可以用來模擬多車道以及交叉路口的交通情況。

必須換道的情況（圖片來源于網(wǎng)絡(luò)）

自動駕駛仿真測試中交通流仿真主要是微觀交通流仿真，主要研究單個車輛與駕駛員單元的之間的行為交互。在傳統(tǒng)交通工程領(lǐng)域，微觀交通流仿真主要是為了分析人類駕駛行為而建立的解析模型。隨著從人類駕駛轉(zhuǎn)向機(jī)器駕駛，機(jī)器學(xué)習(xí)方法開始發(fā)揮作用，對于自動駕駛系統(tǒng)仿真系統(tǒng)而言，微觀交通流仿真的作用主要是通過擬合真實(shí)駕駛數(shù)據(jù)學(xué)習(xí)人類駕駛行為或通過強(qiáng)化學(xué)習(xí)得到最優(yōu)駕駛策略。

2. 自動駕駛仿真測試平臺類型和核心能力

2.1 不同的類型

根據(jù)被測對象的不同，自動駕駛仿真平臺實(shí)可分為：模型在環(huán)（MIL）、軟件在環(huán)（SIL）、硬件在環(huán)（HIL）、駕駛員在環(huán)（DIL）以及車輛在環(huán)（VIL）。

1）模型在環(huán)（MIL）：適用于控制器開發(fā)的初期階段及建模階段，全是虛擬的對象，沒有硬件參與系統(tǒng)測試，通過輸入一系列的測試用例來驗(yàn)證模型是否滿足設(shè)計(jì)的功能需求。用于自動駕駛系統(tǒng)感知算法、決策與規(guī)劃算法以及控制執(zhí)行算法的驗(yàn)證與迭代。

2）軟件在環(huán)（SIL）：軟件在環(huán)測試沒有真實(shí)部件，測試結(jié)果依賴于傳感器模型、車輛動力學(xué)模型以及環(huán)境模型的逼真程度，仿真的置信度相對較低。

適用于自動駕駛算法迭代初期，對算法模型進(jìn)行代碼轉(zhuǎn)換，形成代碼后需要進(jìn)行代碼與算法模型的等效測試。

軟件在環(huán)測試是為了驗(yàn)證自動生成的代碼的正確性，即自動生成的代碼和用于生成代碼的模型行為上是否一致。

當(dāng)前SIL主要用于感知識別算法的驗(yàn)證測試，且需要大量的數(shù)據(jù)集來進(jìn)行機(jī)器學(xué)習(xí)算法訓(xùn)練，比較主流的數(shù)據(jù)集有Cityscapes、ImageNet（ILSVRC），COCO，PASCAL VOC，KITTI等。

注：SIL測試是MIL的一種等效測試，等效分析的目的是為了防止代碼生成的過程中出現(xiàn)錯誤，SIL 的測試用例都是借用的MIL，一旦前面的測試用例錯誤，后面必然將會一錯再錯。

3）硬件在環(huán)（HIL）：硬件在環(huán)通過將需要驗(yàn)證的真實(shí)的物理硬件（一般是控制器）引入到閉環(huán)系統(tǒng)中，控制器接收被控對象（仿真模型）的狀態(tài)并發(fā)出控制指令，然后得到被控對象（仿真模型）反饋并再次發(fā)出控制指令。

4）駕駛員在環(huán)（DIL）：基于駕駛員和硬件在環(huán)的實(shí)時仿真技術(shù)，利用動態(tài)駕駛員模擬器、環(huán)境視聽模擬設(shè)備及相關(guān)人車檢測設(shè)備模擬“人-車-環(huán)境”在實(shí)際車輛駕駛中的信息交互。它能夠采集駕駛員行為數(shù)據(jù)并分析駕駛員行為特征，也可以完成HMI測試以及駕駛員對自動駕駛系統(tǒng)的主觀評價。

駕駛員在環(huán)仿真測試示意圖（圖片來源于網(wǎng)絡(luò)）

5）車輛在環(huán)（VIL）：由實(shí)車代替車輛動力學(xué)模型引入至虛擬環(huán)境中進(jìn)行測試，主要目的是驗(yàn)證整車相關(guān)電控系統(tǒng)的匹配及集成測試。它主要包括兩種形式：封閉場地車輛在環(huán)和轉(zhuǎn)轂平臺車輛在環(huán)。一般是在封閉實(shí)驗(yàn)室或者在空曠的測試場地中，通過構(gòu)建多種復(fù)雜的虛擬駕駛場景，如惡劣的天氣、極端的工況等，來測試和驗(yàn)證整車的功能和性能。

車輛在環(huán)仿真測試示意圖（圖片來源于網(wǎng)絡(luò)）

2.2 仿真平臺的核心能力

1）測試場景的高逼真還原：包括場景的幾何還原、物理還原和邏輯還原。幾何還原指現(xiàn)實(shí)世界中三維場景中物體的形狀、大小及相互位置關(guān)系的還原；物理還原指對現(xiàn)實(shí)世界中各物體物理屬性的還原，讓其在仿真時間里重現(xiàn)真實(shí)世界的物理運(yùn)動規(guī)律，比如雨雪天道路的摩擦系數(shù)會降低，剎車距離會加大；邏輯還原指還原場景內(nèi)的各種元素的邏輯行為，讓其都遵循其現(xiàn)實(shí)世界中的一般運(yùn)動規(guī)律。

2）基于路采數(shù)據(jù)的場景自動化生成：為了保證測試場景的真實(shí)度，需要以大量的路采數(shù)據(jù)作為基礎(chǔ)；

直接將采集數(shù)據(jù)回放一遍以驗(yàn)證自動駕駛算法的這種以回放式仿真是最簡單、最常見的一種方式。這方式僅適用于開環(huán)仿真，并且數(shù)據(jù)的利用率太低。而自動駕駛仿真測試需要海量的測試場景的支撐，單純依靠路采數(shù)據(jù)將會耗費(fèi)大量的人力成本和時間成本。因此能夠基于有限的路采數(shù)據(jù)能夠智能化、自動化的泛化出無限的場景，快速構(gòu)建場景庫，是自動駕駛仿真平臺是必備核心能力之一。

3）具備云端并行加速計(jì)算：ADAS系統(tǒng)驗(yàn)證僅需要滿足特定場景下的功能需求即可，而證明高階自動駕駛算法的完備性，至少需要對數(shù)十萬的測試場景進(jìn)行回歸測試。依靠本地測試存在算力不足，測試周期長，效率低等問題。以分布式架構(gòu)為特征的云計(jì)算憑借其強(qiáng)大的并行加速計(jì)算能力，從根本上解決了自動駕駛仿真測試的效率問題，是自動駕駛仿真平臺的核心競爭力之一。

3. 自動駕駛仿真技術(shù)趨勢分析

3.1 云仿真

ADAS功能僅需要在有限特定的場景下進(jìn)行仿真測試便可驗(yàn)證功能的性能，而高階自動駕駛系統(tǒng)需要面對海量的測試場景。

相比于傳統(tǒng)ADAS功能仿真測試，自動駕駛系統(tǒng)仿真測試對服務(wù)器的數(shù)據(jù)存儲能力以及算力需求呈現(xiàn)較快增長趨勢。

傳統(tǒng)的單機(jī)仿真測試呈現(xiàn)出算力不足，且無法實(shí)現(xiàn)加速測試的問題，導(dǎo)致測試周期長，效率低；而云計(jì)算憑借其強(qiáng)大算力以及并行加速計(jì)算能力，是實(shí)現(xiàn)自動駕駛大規(guī)模仿真場景的有效解決方案，大大提升系統(tǒng)研發(fā)和測試效率。

“八爪魚”云仿真服務(wù)（圖片來源于網(wǎng)絡(luò)）

云仿真有兩種常見的加速計(jì)算方式：

1) 并行計(jì)算 - 空間加速

對于大規(guī)模的仿真任務(wù)，這個時候單機(jī)仿真測試就存在性能上的瓶頸；單個計(jì)算節(jié)點(diǎn)無法很好的完成任務(wù)。需要采用一種機(jī)制將仿真任務(wù)分配到多個機(jī)器上，進(jìn)行協(xié)同工作。云仿真的分布式框架可以將存儲和計(jì)算任務(wù)進(jìn)行拆分，讓每個計(jì)算節(jié)點(diǎn)單獨(dú)承擔(dān)一小部分任務(wù)，這樣多個機(jī)器便可協(xié)同完成一件巨大的任務(wù)，既能降低對個單個節(jié)點(diǎn)的性能需求，又很好的保證了系統(tǒng)整體的計(jì)算能力和存儲容量。

2) 引入虛擬時間 - 時間加速

引入虛擬時間，并根據(jù)當(dāng)前仿真任務(wù)的完成情況隨時調(diào)控整個仿真平臺系統(tǒng)的運(yùn)轉(zhuǎn)速度，在保證各個仿真節(jié)點(diǎn)加速程度保持同步的基礎(chǔ)上，讓各個仿真節(jié)點(diǎn)能夠以高于真實(shí)時間的節(jié)奏運(yùn)行，從而大大縮短整個仿真任務(wù)的完成時間。

云仿真計(jì)算常見的分布式框架有：Hadoop，Apache Storm，Apache Spark。

Apache Storm 是一個免費(fèi)開源、分布式、高容錯的實(shí)時大數(shù)據(jù)處理系統(tǒng)，設(shè)計(jì)用于在容錯和水平可擴(kuò)展方法中處理大量數(shù)據(jù)，擅長實(shí)時大數(shù)據(jù)流處理。

Apache Spark 基于 MapReduce 分布式計(jì)算框架，專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，但它并不會像Storm那樣一次一個地處理數(shù)據(jù)流，而是在處理前按時間間隔預(yù)先將其切分為一段一段的批處理作業(yè)；同時加入了緩存機(jī)制保存中間計(jì)算結(jié)果, 相比Hadoop，優(yōu)化了因?yàn)镮/O帶來的計(jì)算性能瓶頸問題。

Hadoop 基于MapReduce 分布式計(jì)算框架和Nutch Distributed File System (NDFS)存儲框架，擅長處理靜態(tài)數(shù)據(jù)；它也屬于分批處理系統(tǒng)，不擅長實(shí)時計(jì)算。

3.2 數(shù)字孿生

當(dāng)前的的自動駕駛仿真測試存在以下問題：a. 復(fù)雜交通場景搭建的難度大、成本高、安全風(fēng)險大，如隧道、多車沖突、預(yù)期功能安全場景等；b. 軟硬件在環(huán)測試依賴車輛動力學(xué)模型，但模型難以復(fù)現(xiàn)真實(shí)車輛動力學(xué)，其精度對測試有較大影響；c. 開放道路中的交通參與物、交通流等不易復(fù)現(xiàn)，不便開展大量的重復(fù)測試,等等。

數(shù)字孿生技術(shù)通過“虛實(shí)結(jié)合”，將真實(shí)車輛動力學(xué)和虛擬復(fù)雜交通場景緊密聯(lián)系，并在測試過程中實(shí)時交互，可有效解決現(xiàn)有測試方法的不足。數(shù)字孿生技術(shù)是自動駕駛仿真測試的增效利器，是自動駕駛車輛快速實(shí)現(xiàn)商業(yè)化落地道路上的一大助力。那么，究竟什么是數(shù)字孿生呢？

美國國防軍需大學(xué)(Defense Acquisition University)對數(shù)字孿生的定義是：數(shù)字孿生是充分利用物理模型、傳感器更新、運(yùn)行歷史等數(shù)據(jù)，集成多學(xué)科、多物理量、多尺度、多概率的仿真過程，在虛擬空間中完成映射，從而反映相對應(yīng)的實(shí)體裝備的全生命周期過程。

數(shù)字孿生也叫“數(shù)字雙胞胎”，以數(shù)字化方式拷貝一個物理對象，模擬對象在現(xiàn)實(shí)環(huán)境中的行為；即創(chuàng)造出一個有效的“復(fù)制品”出來。就像西游記里的真假“美猴王”，兩個對象屬性相差無幾，不僅外觀相貌相同，甚至連法術(shù)技能都一樣。

對于自動駕駛仿真測試來講，數(shù)字孿生技術(shù)的典型應(yīng)用是自動駕駛數(shù)字孿生測試VRIL（Virtual Reality in the Loop）；就是利用數(shù)字孿生技術(shù)創(chuàng)造出和現(xiàn)實(shí)世界一致的虛擬環(huán)境模型，真實(shí)的車輛在真實(shí)的測試場地或道路中進(jìn)行測試的同時，將同步映射到虛擬的測試環(huán)境中去，從而形成一個虛實(shí)結(jié)合的整車閉環(huán)測試。

基于場景庫的自動駕駛測試體系（圖片來源于網(wǎng)絡(luò)）

虛擬環(huán)境中有與真實(shí)世界中一樣的道路、交通參與者、測試車輛及其配置的傳感器模型。真實(shí)世界的測試車輛在現(xiàn)實(shí)環(huán)境中的各種運(yùn)動狀態(tài)信息以及傳感器采集到的環(huán)境信息，都會在虛擬環(huán)境里同步更新。

同時，虛擬環(huán)境中的傳感器模型探測到的目標(biāo)信息也可以反饋給現(xiàn)實(shí)世界中的測試車輛進(jìn)行信息融合與輔助決策。因此，現(xiàn)實(shí)世界和虛擬環(huán)境之間就實(shí)現(xiàn)了信息和狀態(tài)的交互，實(shí)現(xiàn)了數(shù)字孿生系統(tǒng)的閉環(huán)實(shí)時仿真測試。

3.3混合交通流仿真

自動駕駛車輛取代傳統(tǒng)汽車不是一蹴而就的事情，必然在相當(dāng)?shù)囊欢螘r間內(nèi)處于兩者共存的局面，因此傳統(tǒng)汽車與自動駕駛汽車混行將是一種常見的交通場景。國家信息中心主任徐長明曾在一個會議上指出，中國發(fā)展L4、L5級自動駕駛最大的困境是“混合交通”，即自動駕駛汽車跟非自動駕駛混行。

城市混合交通流微觀仿真系統(tǒng)示例（圖片來源于網(wǎng)絡(luò)）

有相關(guān)專家提出，解決這一問題的關(guān)鍵是實(shí)現(xiàn)自動駕駛車輛由單體智能向群體智能轉(zhuǎn)變，即我國主導(dǎo)的車-路-云一體化的網(wǎng)聯(lián)協(xié)同智能 —— 通過聯(lián)網(wǎng)實(shí)現(xiàn)超視距感知和提前預(yù)知，進(jìn)而減輕單個車輛在環(huán)境感知層面的壓力；通過云端大腦集中決策，減輕單個車輛在決策層面的壓力，并提升決策的效率和可靠性。

能否解決好自動駕駛車輛在混合交通條件下的安全問題，將成為決定自動駕駛車輛能否實(shí)現(xiàn)商業(yè)化落地的關(guān)鍵因素。基于混合交通下條件下的測試場景（尤其是混合交通條件下的V2X場景測試）將是未來自動駕駛仿真測試的重要研究方向，甚至需要針對自動駕駛車輛在不同滲透率下的混合交通模型進(jìn)行仿真測試。

審核編輯 ：李倩