智能網(wǎng)聯(lián)汽車仿真測試標(biāo)準(zhǔn)體系研究

引言

當(dāng)前，基于場景的智能網(wǎng)聯(lián)汽車“三支柱”安全測試評估方法[1]已成為廣泛的行業(yè)共識，模擬仿真測試是其重要手段之一[2]。國內(nèi)外持續(xù)推進智能網(wǎng)聯(lián)汽車準(zhǔn)入管理和模擬仿真測試相關(guān)研究。聯(lián)合國世界車輛法規(guī)協(xié)調(diào)論壇（WP.29）自動駕駛驗證方法非正式工作組提出包含場景目錄、模擬仿真測試、封閉場地測試、實際道路測試、審核評估和在用監(jiān)測等5類技術(shù)手段的《自動駕駛新型測評方法（NATM）》[3]。2022年8月，歐盟發(fā)布自動駕駛車輛型式認(rèn)證法規(guī)REGULATION (EU)2022/1426[4]，提出必須對自動駕駛系統(tǒng)（ADS）進行合規(guī)性評估，評估可通過模擬仿真測試開展；同時，規(guī)定了使用模擬仿真測試開展合規(guī)性評估時模擬仿真測試工具鏈的可信度評估原則。2023年8月，為進一步完善企業(yè)標(biāo)準(zhǔn)制修訂程序和提高企業(yè)標(biāo)準(zhǔn)化水平，鼓勵企業(yè)對標(biāo)國際標(biāo)準(zhǔn)和國內(nèi)外先進標(biāo)準(zhǔn)，國家市場監(jiān)督管理總局發(fā)布《企業(yè)標(biāo)準(zhǔn)化促進辦法》[5]，鼓勵企業(yè)制定高于推薦性國家標(biāo)準(zhǔn)相關(guān)技術(shù)要求的企業(yè)標(biāo)準(zhǔn)。2023年11月，工業(yè)和信息化部等四部委聯(lián)合發(fā)布《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點工作的通知》[6]，要求智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)應(yīng)具備滿足模擬仿真測試條件的設(shè)計驗證能力，并基于此能力，能夠針對智能網(wǎng)聯(lián)汽車產(chǎn)品開展模擬仿真測試，出具產(chǎn)品模擬仿真測試報告。其中，企業(yè)模擬仿真測試設(shè)計驗證能力包括：

①建立專門的模擬仿真測試機構(gòu)，配備相應(yīng)的模擬仿真測試人員；

②建立模擬仿真測試工作流程；

③理解和掌握模擬仿真測試相關(guān)的技術(shù)；

④具備模擬仿真測試驗證相關(guān)的工具和設(shè)備；

⑤具備針對自動駕駛功能產(chǎn)品的模擬仿真測試驗證能力。

其中，針對②的要求，企業(yè)應(yīng)建立智能網(wǎng)聯(lián)汽車模擬仿真測試工作流程，旨在規(guī)定好相關(guān)的節(jié)點和要求，利用MIL/SIL/HIL/VIL等不同的在環(huán)仿真手段，通過測試分析、用例設(shè)計、環(huán)境搭建、測試執(zhí)行、分析評價等環(huán)節(jié)，完成對智能網(wǎng)聯(lián)汽車產(chǎn)品和自動駕駛系統(tǒng)的測試評價任務(wù)。該流程作為企業(yè)開展模擬仿真測試的“出發(fā)點”，提供頂層的思路和參考，故命名為企標(biāo)0，并且屬于流程類的標(biāo)準(zhǔn)規(guī)范。

針對③，為證明智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)已經(jīng)理解和掌握模擬仿真測試相關(guān)的技術(shù)，企業(yè)應(yīng)在②智能網(wǎng)聯(lián)汽車仿真測試工作流程（企標(biāo)0）的基礎(chǔ)之上，建立企業(yè)模擬仿真測試標(biāo)準(zhǔn)和規(guī)范體系，基于國內(nèi)外的標(biāo)準(zhǔn)法規(guī)要求，在企業(yè)范圍內(nèi)協(xié)調(diào)、統(tǒng)一模擬仿真測試相關(guān)技術(shù)要求，對技術(shù)進行專業(yè)化、標(biāo)準(zhǔn)化和普適性的描述，并作為重要的參考和依據(jù)，指導(dǎo)企業(yè)開發(fā)和測試人員/工程師具體地開展模擬仿真測試工作。

本篇文章按照測試前、測試中和測試后三個階段，研究和闡述賽目科技提出的企業(yè)模擬仿真測試標(biāo)準(zhǔn)體系布局和理念，標(biāo)準(zhǔn)體系示意圖如下圖1所示。

圖1 企業(yè)模擬仿真測試標(biāo)準(zhǔn)體系布局

其中，測試前是指在具體執(zhí)行仿真測試前的準(zhǔn)備階段，測試中是指執(zhí)行仿真測試的階段，測試后是指執(zhí)行完仿真測試之后的階段。企業(yè)標(biāo)準(zhǔn)規(guī)范主要集中在測試前和測試后兩個階段。

測試前

“測試前”是指模擬仿真測試執(zhí)行之前的測試準(zhǔn)備階段，包括測試用例設(shè)計、制定測試方案和環(huán)境搭建三個環(huán)節(jié)。測試用例設(shè)計是指通過測試用例分析，明確測試前提條件、測試輸入、執(zhí)行條件以及預(yù)期結(jié)果，最終獲得測試用例集；制定測試方案包括明確測試方案，確定在環(huán)測試方式，安排具體測試人員/工程師，制定測試計劃和確定模擬仿真測試工具鏈（包括仿真測試工具和仿真模型）；仿真測試環(huán)境搭建是準(zhǔn)備一個包括硬件/軟件/網(wǎng)絡(luò)/數(shù)據(jù)等必要元素的綜合環(huán)境，包括開發(fā)和調(diào)試模擬仿真測試接口、模型搭建和場景搭建等。其中，測試用例設(shè)計是整個階段工作的核心，反映了對被測對象的質(zhì)量要求。隨著對仿真測試可信的要求越來越高，環(huán)境搭建階段涉及的仿真測試可信度評估被更多人知曉和關(guān)注。詳細(xì)內(nèi)容可參考賽目科技發(fā)布的《智能網(wǎng)聯(lián)汽車模擬仿真測試》一文。針對測試前階段涉及的測試場景和測試用例生成環(huán)節(jié)，仿真模型搭建環(huán)節(jié)，場景搭建環(huán)節(jié)，接口調(diào)試環(huán)節(jié)，企業(yè)應(yīng)制定標(biāo)準(zhǔn)規(guī)范，對相關(guān)內(nèi)容進行規(guī)范和統(tǒng)一描述，以便于指導(dǎo)后續(xù)工作開展，具體包括：

企標(biāo)1《模擬仿真場景和測試用例生成規(guī)范》

企標(biāo)2《仿真模型搭建技術(shù)規(guī)范》

企標(biāo)3《模擬仿真測試場景搭建規(guī)范》

企標(biāo)4《仿真測試接口開發(fā)和調(diào)試規(guī)范》

企標(biāo)1《模擬仿真場景和測試用例生成規(guī)范》

編制目標(biāo)：編制《仿真測試場景和測試用例生成規(guī)范》主要目標(biāo)是指導(dǎo)企業(yè)人員/工程師通過不同方式快速地生成模擬仿真測試用例，客觀且可重復(fù)地評估智能網(wǎng)聯(lián)汽車產(chǎn)品和自動駕駛系統(tǒng)的運行安全性。

主要內(nèi)容：測試用例生成方式主要包括預(yù)期功能安全分析、實際道路數(shù)采轉(zhuǎn)換、泛化采樣等。

輸入：自動駕駛功能規(guī)范、設(shè)計運行條件、系統(tǒng)架構(gòu)、實際道路采集數(shù)據(jù)等。

輸出：測試用例描述（.excel）/場景文件（.xodr和.xosc）。

評審依據(jù)：

1）仿真測試場景/用例的合理性；

2）仿真測試場景/用例的覆蓋度；

3）能夠在仿真工具鏈中運行。

（1）預(yù)期功能安全場景生成，流程類規(guī)范，核心是解決預(yù)期功能安全場景如何生成，明確從預(yù)期功能安全分析到仿真測試用例設(shè)計和生成的具體步驟。內(nèi)容主要包括功能規(guī)范和定義、危害分析和風(fēng)險評估、定義危害事件、潛在功能不足與觸發(fā)條件識別、改進措施需求分配、制定驗證策略和設(shè)計測試用例，最終為系統(tǒng)安全設(shè)計及仿真測試驗證提供輸入。企業(yè)通過危害分析和風(fēng)險評估，識別由相關(guān)項中功能異常表現(xiàn)引起的危害事件；在定義危害事件之后，識別可能導(dǎo)致危害事件發(fā)生的觸發(fā)條件；通過梳理觸發(fā)條件（包括可預(yù)見的誤用），制定驗證策略和設(shè)計測試用例，最終定義具有特定分類的自動駕駛模擬仿真測試場景。預(yù)期功能安全場景能夠通過增加在系統(tǒng)設(shè)計開始時確定的已知不安全場景/用例的數(shù)量，來實現(xiàn)對自動駕駛系統(tǒng)的更全面的分析、開發(fā)和驗證。

（2）實際道路數(shù)采場景生成，流程類規(guī)范，核心是解決實際道路數(shù)采場景如何生成，明確從路采數(shù)據(jù)采集到仿真測試場景生成的具體步驟。主要內(nèi)容包括實際道路數(shù)采數(shù)據(jù)的獲取、場景提取和數(shù)采數(shù)據(jù)格式轉(zhuǎn)換等內(nèi)容。其中，實際道路數(shù)采數(shù)據(jù)獲取規(guī)定了數(shù)據(jù)采集車如何搭建，采集哪些信息，輸入文件的格式，輸出文件格式（例如“.csv”）和關(guān)鍵信息（例如rosbag）等；場景提取部分規(guī)定了場景片段提取的方法/算法，設(shè)置的關(guān)鍵提取KPI指標(biāo)等；數(shù)采數(shù)據(jù)的格式轉(zhuǎn)換規(guī)定了基于數(shù)據(jù)采集階段獲取的輸出文件的格式和關(guān)鍵信息，以及開展場景格式轉(zhuǎn)換的詳細(xì)步驟，以及轉(zhuǎn)換完成后的校驗流程。實際道路數(shù)采生成的仿真測試用例/場景更貼近于真實的駕駛交通環(huán)境和場景。

（3）測試用例泛化和生成，技術(shù)類規(guī)范，核心是通過方法論，解決測試用例如何泛化和生成。在明確模擬仿真功能/邏輯場景的基礎(chǔ)上，描述具體測試用例泛化和生成的步驟和方法。通過詳細(xì)分析功能場景中的關(guān)鍵參數(shù)，基于真實數(shù)據(jù)統(tǒng)計和理論分析等方法得到這些關(guān)鍵參數(shù)的分布范圍（得到邏輯場景），選取其中一組參數(shù)取值作為一個具體測試用例。理論分析方法包括定步長采樣，隨機采樣、重要性采樣等。針對參數(shù)層面的泛化，核心能力在于如何識別有效場景和剔除不合理場景，最終定義泛化空間，獲得具體測試用例。詳細(xì)分析方法內(nèi)容可參考企標(biāo)6中的場景空間分析部分。測試用例泛化和生成方法能夠支持算法的正向開發(fā)，配合采樣算法，更容易找到算法解決不了的“Corner Case”。

企標(biāo)1 附錄《自動化測試用例生成規(guī)范》技術(shù)類規(guī)范

編制本附錄的目標(biāo)是標(biāo)準(zhǔn)化測試用例生成步驟，解決自動化仿真測試問題，提高測試效率。由企標(biāo)1的（1）（2）生成的模擬仿真測試用例/場景文件（.xodr/.xosc）一般可以直接在仿真工具鏈中運行，但（3）通常生成一組文檔版本的測試用例（.excel）。本附錄主要規(guī)范仿真測試用例的表述模板，包括在文檔（.excel）中統(tǒng)一測試執(zhí)行前的操作（測試場景ID/名稱、測試條件、輸入接口等）、測試執(zhí)行中的操作（觀測接口、執(zhí)行操作等）和測試執(zhí)行后的操作（輸出接口、判斷條件等）。通過制定和編寫測試用例表述模板，指導(dǎo)企業(yè)測試人員/工程師規(guī)范地編寫仿真測試用例（.excel），配合運行自動化測試腳本（.python等），直接調(diào)用和加載測試用例文檔（.excel），最終準(zhǔn)確、自動化地生成模擬仿真場景文件（.xodr/.xosc）。同時，場景文件（.xodr/.xosc）又可以直接輸出到仿真測試工具鏈中開展測試，整體提高測試效率。

企標(biāo)2《仿真模型搭建技術(shù)規(guī)范》技術(shù)類規(guī)范編制目標(biāo)

編制目標(biāo)：編制《仿真模型搭建技術(shù)規(guī)范》主要目標(biāo)是解決仿真模型搭建難、搭建慢，搭建不一致的問題，提高模型的建模質(zhì)量、可讀性和搭建效率。

主要內(nèi)容：指導(dǎo)企業(yè)測試人員/工程師快速、準(zhǔn)確地搭建系統(tǒng)/實體（建模對象）對應(yīng)的仿真模型，揭示系統(tǒng)/實體的形態(tài)特征和本質(zhì)，幫助觀測和認(rèn)知建模對象的行為，助力開展模擬仿真測試。

輸入：模型結(jié)構(gòu)、參數(shù)、說明等。

輸出：仿真模型文件（.cpr /. osgb等）。

評審依據(jù)：

1）仿真模型的可靠性、穩(wěn)定性和可擴展性等；

2）能夠支撐模擬仿真測試；

3）仿真模型的可信度。

在智能網(wǎng)聯(lián)汽車模擬仿真測試中，常見的建模對象包括車輛動力學(xué)系統(tǒng)和感知系統(tǒng)（車載傳感器），因此，本規(guī)范主要約束車輛動力學(xué)模型搭建技術(shù)和傳感器模型搭建技術(shù)等內(nèi)容。其中，傳感器模型搭建規(guī)范又包含攝像頭模型、毫米波雷達模型、激光雷達模型和V2X模型等。

（1）車輛動力學(xué)模型搭建技術(shù)規(guī)范解決了動力學(xué)模型如何搭建的問題，明確車輛動力學(xué)仿真模型搭建對象，動力學(xué)參數(shù)配置步驟，模型參數(shù)定義、取值范圍和含義，以及控制接口配置等。車輛動力學(xué)模型包括車身模型、動力傳動模型（區(qū)分燃油車和電動車）、制動模型、轉(zhuǎn)向模型、懸架模型、車輪模型和空氣動力學(xué)模型等。模型參數(shù)配置主要指導(dǎo)測試人員/工程師針對動力學(xué)參數(shù)進行可視化配置，實現(xiàn)對車輛動力學(xué)性能的個性化設(shè)置。

（2）傳感器模型搭建技術(shù)規(guī)范解決了傳感器模型如何搭建的問題，明確傳感器仿真模型建模對象，定義不同的傳感器參數(shù)，明確參數(shù)取值范圍，以及明確各參數(shù)的配置步驟。例如，搭建攝像頭傳感器模型的步驟可參考以下內(nèi)容：由于搭建目標(biāo)是模擬從光到數(shù)字信號的轉(zhuǎn)換、顏色處理和渲染等，因此，考慮光學(xué)特征，定義攝像頭安裝位置參數(shù)（內(nèi)參和外參）、水平分辨率、垂直分辨率等；考慮電氣特征，需要進行模數(shù)轉(zhuǎn)換和明確插值等；再經(jīng)過光線跟蹤(fay tracing)、光線投射(ray casting)、紋理映射(texture mapping shader)等圖像渲染方法，最終實現(xiàn)建模對象在仿真環(huán)境中的真實還原，當(dāng)然，為了更貼近車輛真實感知的世界，可以在傳感器模型生成的數(shù)據(jù)中添加一些噪聲。

企業(yè)通過建立一套通用的建模技術(shù)規(guī)范，可以對建模過程的各個環(huán)節(jié)進行精細(xì)化約束，確保模型的可信程度，保障模擬仿真測試的順利進行。此外，良好的仿真建模規(guī)范可以使仿真模型更容易被理解，便于直觀分析模型的功能，從而有助于企業(yè)測試人員/工程師發(fā)現(xiàn)和修正潛在的問題。

企標(biāo)3《仿真測試接口開發(fā)和調(diào)試規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《仿真測試接口開發(fā)和調(diào)試規(guī)范》主要目標(biāo)是解決仿真測試接口定義不明確、接口不統(tǒng)一，測試內(nèi)容和測試邊界不明確的問題。目標(biāo)是通過一種通信機制，實現(xiàn)仿真工具鏈和被測對象之間的信息交互。

主要內(nèi)容：規(guī)范內(nèi)容包括接口文檔類型、輸入文檔、接口定義和說明以及接口調(diào)試步驟等。其中，接口定義和說明又包括接口名稱、接口數(shù)據(jù)格式、數(shù)據(jù)字段定義、單位、取值范圍，數(shù)據(jù)傳輸鏈路等信息。

輸入：接口名稱、定義、數(shù)據(jù)包定義、接口說明等

輸出：仿真接口文檔（.pdf）。

評審依據(jù)：能夠支撐模擬仿真測試。

企業(yè)開展自動駕駛模型/算法/硬件系統(tǒng)/整車模擬仿真測試時，需要與仿真測試工具鏈或第三方仿真模型進行通信。規(guī)范相關(guān)的接口文檔，就能夠明確一幀完整消息的通信方式（可由消息頭部和數(shù)據(jù)部分組成，數(shù)據(jù)部分包含若干個package；每一個package 由頭部和數(shù)據(jù)部分組成，數(shù)據(jù)部分又包含若干個元素element）。具體結(jié)構(gòu)體定義可以包括車輛坐標(biāo)信息、初始化車輛參數(shù)信息、道路信息、試驗車輛信息、傳感器信息、探測目標(biāo)物信息等。本文件主要用于指導(dǎo)企業(yè)測試人員/工程師基于不同在環(huán)仿真測試方式，開發(fā)和調(diào)試模擬仿真測試接口。同時，針對不同的仿真接口特點進行總結(jié)，基于以往經(jīng)驗的積累以及參照開發(fā)和調(diào)試數(shù)據(jù)等，不斷優(yōu)化接口文檔的內(nèi)容。

此外，針對企標(biāo)2搭建的仿真模型，如測試需要，企業(yè)也可以定義相關(guān)接口，例如《車輛動力學(xué)模型接口文檔》《傳感器模型接口文檔》等，支撐企業(yè)開展模擬仿真測試。

企標(biāo)4《模擬仿真測試場景搭建規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《模擬仿真測試場景搭建規(guī)范》主要目標(biāo)是解決仿真測試場景搭建難、再現(xiàn)難的問題。

主要內(nèi)容：規(guī)范了具體測試用例/場景的搭建方法、步驟和流程。

輸入：模擬仿真測試用例（.excel）等。

輸出：仿真場景文件（.xodr/.xosc）。

評審依據(jù)：能夠在仿真工具鏈中運行。

《仿真測試場景搭建規(guī)范》主要基于企標(biāo)1獲得的具體測試用例，指導(dǎo)測試人員/工程師具體開展仿真測試用例/場景的搭建工作。本規(guī)范可參考企業(yè)內(nèi)部使用的仿真平臺/工具的使用手冊或操作指南（例如：Sim Pro操作手冊）進行編制。主要包括靜態(tài)道路的搭建和動態(tài)場景的搭建。

（1）道路/地圖文件搭建，用于指導(dǎo)測試人員/工程師如何搭建地圖文件（.xodr）。針對靜態(tài)場景設(shè)計，明確創(chuàng)建道路（Road）、物體（Objects）和信號（Signals）的具體步驟，以及如何修改相關(guān)的參數(shù)設(shè)置等。

（2）場景文件搭建，用于指導(dǎo)測試工程師如何搭建場景文件（.xosc）。針對動態(tài)場景搭建，明確創(chuàng)建和修改動態(tài)場景的具體步驟，以及根據(jù)（1）搭建的具體道路狀況，建立復(fù)雜的交通流或?qū)Ω鞣N干擾的交通情況進行仿真，干擾包括行人干擾、不遵守交通規(guī)則的車輛干擾等。通常動態(tài)場景的設(shè)計是通過事件觸發(fā)形式，觸發(fā)條件包括位置等。

測試后

“測試后”是指執(zhí)行完仿真測試之后的階段，主要包括對仿真測試結(jié)果的評價和仿真測試用例/場景的空間分析和評估。測試評價可以為產(chǎn)品功能的迭代和優(yōu)化提供相關(guān)意見和建議；測試用例/場景的空間分析和評估可以識別有效場景和剔除不合理場景，最終定義泛化空間，優(yōu)化迭代測試用例。建議企業(yè)將以上兩個重要環(huán)節(jié)形成標(biāo)準(zhǔn)化的指導(dǎo)文件產(chǎn)品模擬仿真測試評價規(guī)范和場景空間分析評估規(guī)范，并參考執(zhí)行。

企標(biāo)5《產(chǎn)品模擬仿真測試評價規(guī)范》

企標(biāo)6《場景空間分析和評估規(guī)范》

企標(biāo)5《產(chǎn)品模擬仿真測試評價規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《產(chǎn)品模擬仿真測試評價規(guī)范》主要目標(biāo)是解決仿真測試用例/場景如何評價的問題。

主要內(nèi)容：規(guī)范了具體測試用例/場景的評價指標(biāo)、評價方法、評價步驟和判斷條件。

輸入：仿真測試數(shù)據(jù)（.log日志）等。

輸出：仿真測試用例/場景結(jié)果文件、測試報告等（.pdf）。

評審依據(jù)：

1）符合法律、法規(guī)和標(biāo)準(zhǔn)要求；

2）符合企業(yè)自定義評價指標(biāo)要求；

3）提升產(chǎn)品功能或性能。

《產(chǎn)品模擬仿真測試評價規(guī)范》中應(yīng)明確企業(yè)針對單一仿真測試用例/場景的評價范圍、評價要求、評價指標(biāo)、評價方法和判斷條件，以及在政策、法規(guī)、國家標(biāo)準(zhǔn)的基礎(chǔ)上，適配企業(yè)和自身產(chǎn)品特點，自定義設(shè)置的獨特性、關(guān)鍵性評估指標(biāo)或指標(biāo)體系的流程和方法，例如，在滿足合規(guī)要求的基礎(chǔ)上，可再梯度區(qū)分不同在環(huán)仿真測試方式測試要求。

企業(yè)應(yīng)明確如何從安全性、合規(guī)性、舒適性和智能性等方面對智能網(wǎng)聯(lián)汽車產(chǎn)品和自動駕駛系統(tǒng)進行全面、準(zhǔn)確地評估。企業(yè)測試人員/工程師可以參考法規(guī)、標(biāo)準(zhǔn)中明確的安全性和合規(guī)性（交規(guī)符合性等）要求，詳細(xì)分析和拆解每個測試用例的通過要求的評價指標(biāo)，最終滿足合規(guī)要求。在此基礎(chǔ)上，企業(yè)可關(guān)注車輛或自動駕駛系統(tǒng)的舒適性和智能性需求，例如，除緊急避險類場景外，車輛是否有急加/減速等，根據(jù)企業(yè)的獨特要求進行配置和調(diào)整，自定義評估指標(biāo)、評估流程和評價方法，制定出更加符合企業(yè)需求和特點的評價體系，使評價結(jié)果更具有針對性和實用性。同時，企業(yè)可以根據(jù)自身發(fā)展的不同階段，及時調(diào)整和優(yōu)化本規(guī)范中的各類評價指標(biāo)，以適應(yīng)不斷變化的市場環(huán)境和企業(yè)戰(zhàn)略。

企標(biāo)6《場景空間分析和評估規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《場景空間分析和評估規(guī)范》主要目標(biāo)是解決仿真測試場景空間如何分析和評估的問題。

主要內(nèi)容：規(guī)范了場景空間分析和評估的指標(biāo)、方法、步驟和判斷條件。

輸入：測試用例描述（.excel）/場景文件（.xodr和.xosc）等。

輸出：場景空間分析和評估結(jié)果文件（.pdf）。

評審依據(jù)：

1）符合法律、法規(guī)和相關(guān)標(biāo)準(zhǔn)要求；

2）提升產(chǎn)品功能或性能。

本規(guī)范中的場景空間分析是評估所采用的測試用例泛化方法和測試效率的一種方式，即“測試前分析方法”，指的是在模擬仿真測試開始之前，在測試人員/工程師編寫測試用例時就進行的測試場景空間可靠性、敏感性和魯棒性的分析和估算，進而提高模擬仿真測試效率的一種手段。敏感性分析可以高效地探索測試空間并對其降維，降低后續(xù)分析的難度；可靠性分析與魯棒性分析可以精確地估計被測試系統(tǒng)在指定空間中的失敗概率與臨近面的魯棒性。場景空間分析內(nèi)容可在企標(biāo)1（3）部分中完成。

本規(guī)范中的場景空間評估是從統(tǒng)計學(xué)角度，明確如何對仿真測試用例/場景覆蓋度等影響產(chǎn)品測試驗證的重要因素進行科學(xué)、有效地評價。一是明確基于真實數(shù)據(jù)統(tǒng)計和理論分析等方法得到的用于自動駕駛產(chǎn)品仿真測試的一組測試用例是否有效；二是明確一組測試用例是否足夠覆蓋自動駕駛產(chǎn)品/系統(tǒng)的設(shè)計運行條件；三是明確是否支撐盡可能地識別了“Corner Case”；四是明確能否支持自動駕駛產(chǎn)品的最終驗證。

企業(yè)可自定義相關(guān)因素和指標(biāo)，配合場景空間分析和評估，經(jīng)過多輪的迭代，最終能夠降低采樣個數(shù)、優(yōu)化測試用例，有效解決測試用例/場景的覆蓋度問題。

仿真測試可信度評估

伴隨產(chǎn)品模擬仿真測試的整個過程，企業(yè)還應(yīng)該進行仿真測試可信度評估。尤其是需要保證本次仿真測試使用的模擬仿真測試工具鏈的置信度。在本階段，企業(yè)可根據(jù)自動駕駛產(chǎn)品驗證和確認(rèn)方案，在明確仿真測試涉及的全部仿真工具及其相關(guān)模型后，在本階段完成仿真工具鏈置信度評估，包括仿真工具置信度評估和仿真模型可信度評估，涉及到的企業(yè)標(biāo)準(zhǔn)規(guī)范主要包括：

企標(biāo)7《仿真工具置信度評估規(guī)范》

企標(biāo)8《仿真模型可信度評估規(guī)范》

企標(biāo)9《場景置信度評估規(guī)范》

企標(biāo)7《仿真工具置信度評估規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《仿真工具置信度評估規(guī)范》主要目標(biāo)是解決如何開展仿真工具置信度評估的問題。

主要內(nèi)容：規(guī)范了仿真工具置信度評估的評估方法、流程和評價指標(biāo)等內(nèi)容。

輸入：仿真工具開發(fā)代碼、過程文檔等。

輸出：仿真工具置信度評估結(jié)果文件（.pdf）。

評審依據(jù)：

1）符合法律、法規(guī)和相關(guān)標(biāo)準(zhǔn)要求；

2）仿真工具不會出現(xiàn)計算錯誤。參考WP.29 NATM文件[3]、 EU 2022/1426[4]，仿真工具置信度評估的具體流程包括仿真工具分析、仿真工具驗證和仿真工具確認(rèn)。仿真工具分析主要是分析仿真工具的范圍和局限性，確定可能影響仿真測試結(jié)果的涉及仿真工具的不確定性來源。仿真工具驗證方法包括代碼驗證、計算驗證等。代碼驗證包括靜/動態(tài)代碼驗證、收斂性分析、精確解比較等；計算驗證是針對仿真工具產(chǎn)生的影響開展數(shù)值誤差估計，數(shù)值誤差需要保持在一定的范圍內(nèi)以不影響仿真測試結(jié)果。仿真工具確認(rèn)方法取決于仿真工具的結(jié)構(gòu)組成和測試目標(biāo)，包含靜/動態(tài)場景編輯模塊、仿真引擎模塊、車輛動力學(xué)模塊、傳感模塊（如涉及）等。在仿真工具置信度確認(rèn)時，可使用專用測試場景進行驗證，確保仿真工具在即將開展的具體測試用例之外的測試用例/場景下，測試結(jié)果表現(xiàn)一致。詳細(xì)內(nèi)容可參見企標(biāo)9。

此外，基于驗證方法的理論基礎(chǔ)，企業(yè)可以根據(jù)專家經(jīng)驗自定義仿真工具置信度的評估指標(biāo)，具體指導(dǎo)評估工作的開展。

企標(biāo)8《仿真模型可信度評估規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《仿真模型可信度評估規(guī)范》主要目標(biāo)是解決如何開展仿真模型可信度評估的問題。

主要內(nèi)容：規(guī)范了仿真模型可信度評估的評估方法、流程和評價指標(biāo)等內(nèi)容。具體又可以細(xì)分為以下5個子規(guī)范：

企標(biāo)8-1《車輛動力學(xué)模型可信度評估規(guī)范》

企標(biāo)8-2《傳感器模型可信度評估規(guī)范》

企標(biāo)8-3《地圖模型可信度評估規(guī)范》

企標(biāo)8-4《交通流模型和駕駛員模型可信度評估規(guī)范》

企標(biāo)8-5《天氣環(huán)境模型可信度評估規(guī)范》

輸入：仿真模型參數(shù)、文檔等。

輸出：仿真模型可信度評估結(jié)果文件（.pdf）。

評審依據(jù)：

1）符合法律、法規(guī)和相關(guān)標(biāo)準(zhǔn)要求；

2）仿真模型與真實系統(tǒng)輸出結(jié)果的相似程度。

仿真模型可信度評估主要目的是指導(dǎo)測試人員/工程師具體開展仿真模型的可信度評估，最終證明基于企標(biāo)2搭建的仿真模型或外采的第三方仿真模型，一是可被信任的，不會受到數(shù)字或邏輯缺陷的干擾；二是具備高保真度，即搭建的仿真模型與建模對象具備高的相似程度。本規(guī)范內(nèi)容主要包括仿真模型的可信度評估方法、評估流程和評估指標(biāo)等，涉及企標(biāo)8-1約束的車輛動力學(xué)模型、企標(biāo)8-2約束的傳感器模型、企標(biāo)8-3約束的地圖模型、企標(biāo)8-4約束的交通流模型和駕駛員模型、企標(biāo)8-5約束的天氣環(huán)境模型等。

同樣，參考WP.29 NATM文件[3]、 EU 2022/1426[4]，仿真模型可信度評估流程包括仿真模型分析、仿真模型驗證和仿真模型確認(rèn)。仿真模型分析主要是明確仿真模型的范圍和局限性，以及明確仿真模型內(nèi)的不確定性來源，規(guī)范中可以注明不確定性來源的分類以及每個類別對仿真模型輸出的影響。仿真模型驗證需要對仿真模型的建模原理或數(shù)學(xué)模型進行正確地響應(yīng)和分析，包括敏感性分析等。敏感性分析是基于優(yōu)化理論，量化模型輸入值的變化對模型輸出值的影響，即量化仿真模型對于輸入不確定性的“敏感程度”，并篩選出的對模型結(jié)果影響最大的參數(shù)定義為最關(guān)鍵參數(shù)。針對最關(guān)鍵參數(shù)開展敏感性分析后，可以幫助測試人員/工程師更深刻地理解模型，為后續(xù)模型的表現(xiàn)提供判斷依據(jù)。針對仿真模型確認(rèn)，企業(yè)可以自定義用于仿真模型確認(rèn)的方法和閾值，記錄用于模型確認(rèn)的相關(guān)數(shù)據(jù)并注明相應(yīng)數(shù)據(jù)的重要的質(zhì)量特征（例如數(shù)據(jù)覆蓋度、信噪比等），以及編制具體的說明文件內(nèi)容，確保用于確認(rèn)仿真模型的數(shù)據(jù)能夠覆蓋仿真工具鏈的預(yù)期仿真功能。

其中，企標(biāo)8-1和企標(biāo)8-2重點是對工作原理的模擬，主要選擇使用典型場景以及典型參數(shù)對比的方式進行；企標(biāo)8-3和企標(biāo)8-5主要通過收集實際數(shù)據(jù)，觀察地圖 (基于高精度地圖導(dǎo)入)/天氣模型的輸出結(jié)果，并與實際情況進行對比，評估模型準(zhǔn)確性；企標(biāo)8-4重點是對規(guī)律和行為的模擬，從統(tǒng)計學(xué)意義上證明關(guān)鍵特征一致。

企標(biāo)9《場景置信度評估規(guī)范》技術(shù)類規(guī)范

編制目標(biāo)：編制《場景置信度評估規(guī)范》主要目標(biāo)是解決如何開展仿真場景置信度評估的問題。

主要內(nèi)容：規(guī)范了場景置信度評估的評估方法、流程和評價指標(biāo)等內(nèi)容。基于企標(biāo)7約束的專用測試場景，通過將模擬仿真測試與封閉場地/實際道路測試結(jié)果進行有效地對比，驗證模擬仿真測試的可信度。

輸入：對比參數(shù)、模擬仿真/封閉場地/實際道路測試過程文檔、測試報告（.pdf）等。

輸出：場景置信度評估結(jié)果文件（.pdf）。

評審依據(jù)：符合法律、法規(guī)和相關(guān)標(biāo)準(zhǔn)要求。

在企標(biāo)7仿真工具置信度確認(rèn)中，明確可使用專用測試場景進行驗證，編制場景置信度評估規(guī)范的主要目的是指導(dǎo)模擬仿真測試人員/工程師具體開展基于專用測試場景的模擬仿真測試與實車測試（包括封閉場地測試和實際道路測試）結(jié)果的對比，通過制定測試結(jié)果和關(guān)鍵參數(shù)的對比分析流程和對比指標(biāo)，證明在同一測試場景下，仿真試驗結(jié)果和實車測試結(jié)果趨勢或表現(xiàn)一致。對比指標(biāo)包括相對誤差、均方根誤差和擬合度等。對比指標(biāo)具體詳見賽目科技發(fā)布的《關(guān)于模擬仿真測試可信度評估方法的研究（下）——評估方法》一文。

通過開展場景置信度評估，以及結(jié)合測試準(zhǔn)備階段已經(jīng)完成的仿真工具置信度評估（企標(biāo)7）和仿真模型可信度評估（企標(biāo)8），最終完成仿真試驗的可信度評估。

附：企標(biāo)0《產(chǎn)品仿真測試流程》流程類規(guī)范

編制目標(biāo)：編制《產(chǎn)品仿真測試流程》主要目標(biāo)是解決如何按照標(biāo)準(zhǔn)化的步驟和流程開展模擬仿真測試的問題，提高模擬仿真測試效率。

主要內(nèi)容：規(guī)范了從測試準(zhǔn)備、測試執(zhí)行中和測試結(jié)束的全流程內(nèi)容和時間節(jié)點，確保每個測試任務(wù)都按照統(tǒng)一的標(biāo)準(zhǔn)執(zhí)行。

輸入：測試方案（.pdf）、測試用例（.excel）等。

輸出：產(chǎn)品模擬仿真測試報告（.pdf）。

評審依據(jù)：

1）符合法律、法規(guī)和相關(guān)標(biāo)準(zhǔn)要求；

2）測試流程的合理性。

本規(guī)范具體細(xì)分可包括模型在環(huán)（MIL）測試流程、軟件在環(huán)（SIL）測試流程、硬件在環(huán)（HIL）測試流程和車輛在環(huán)（VIL）測試流程。產(chǎn)品仿真測試詳細(xì)步驟包括：

（1）確定測試方案。明確測試人員/工程師、測試排期以及具體測試用例，具體測試用例生成可參考企標(biāo)1；

（2）確定仿真測試工具鏈。根據(jù)（1）獲得的測試用例，確定仿真測試工具鏈，包括仿真工具和仿真模型，其中，仿真模型可參考企標(biāo)2進行搭建；

（3）開發(fā)和調(diào)試仿真測試接口。根據(jù)（1）獲得的測試用例和（2）確定的仿真測試工具鏈，參考企標(biāo)3，開發(fā)和調(diào)試仿真測試接口；

（4）開展仿真工具鏈置信度評估。為保障仿真測試工具鏈置信度，參考企標(biāo)7和企標(biāo)8，開展仿真工具鏈置信度評估（包括仿真工具置信度和仿真模型可信度評估）；

（5）根據(jù)（1）獲得的測試用例，基于（4）已經(jīng)完成置信度評估的仿真工具鏈，參考企標(biāo)4，搭建具體的仿真測試場景；基于（3）開發(fā)的仿真接口，完成測試環(huán)境的搭建；

（6）執(zhí)行具體仿真測試。根據(jù)（1）明確的測試人員/工程師和排期，參考企標(biāo)0，執(zhí)行仿真測試；

（7）得到仿真測試結(jié)果。參考企標(biāo)5和企標(biāo)6，對于仿真測試結(jié)果進行評價。同時，可以參考企標(biāo)9，將模擬仿真測試與封閉場地/實際道路測試結(jié)果進行有效地對比，驗證模擬仿真測試的可信度。

企業(yè)可以通過對企標(biāo)0標(biāo)準(zhǔn)化的測試流程的定期復(fù)盤和審查，不斷優(yōu)化針對產(chǎn)品的測試效率和業(yè)務(wù)績效。同時，識別問題并持續(xù)改進測試流程，更好地適應(yīng)市場變化、法規(guī)要求或客戶需求的變動。

結(jié)語

本文基于賽目科技的實踐經(jīng)驗和研究成果，主要闡述了企業(yè)通過制定模擬仿真測試企業(yè)標(biāo)準(zhǔn)和規(guī)范體系證明理解和掌握仿真關(guān)鍵技術(shù)的核心理念。在國家鼓勵企業(yè)建立健全標(biāo)準(zhǔn)化工作制度和實施企業(yè)標(biāo)準(zhǔn)“領(lǐng)跑者”制度的政策背景下，配備專/兼職標(biāo)準(zhǔn)化人員/工程師，適配企業(yè)和自身產(chǎn)品特點，對模擬仿真測試過程中涉及的關(guān)鍵技術(shù)進行標(biāo)準(zhǔn)化和準(zhǔn)確性的描述，具體地指導(dǎo)開發(fā)和測試人員/工程師開展智能網(wǎng)聯(lián)汽車產(chǎn)品的模擬仿真測試工作，把仿真測試做專、做精和做深，積極地促進智能網(wǎng)聯(lián)汽車產(chǎn)品質(zhì)量提升，推動企業(yè)高質(zhì)量發(fā)展。