康謀分享 | AD/ADAS的性能概覽：在AD/ADAS的開發(fā)與驗(yàn)證中“大海撈針”！

如果您希望從數(shù)百萬小時(shí)的駕駛數(shù)據(jù)中查找特定的相關(guān)駕駛事件和未遂事故，以確保您的所需功能正確運(yùn)行，最好的方法就是創(chuàng)建一個(gè)系統(tǒng)性能的概覽分析，實(shí)現(xiàn)在數(shù)據(jù)日志中快速檢索關(guān)注點(diǎn)。為此，康謀在本文將為您詳細(xì)介紹IVEX的智能概覽功能，助力AD/ADAS的開發(fā)與驗(yàn)證！

一、AD/ADAS性能概覽的重要性

為了開發(fā)、演進(jìn)、測(cè)試和驗(yàn)證自動(dòng)駕駛（AD）功能或自動(dòng)駕駛輔助系統(tǒng)（ADAS），各大企業(yè)都在生成數(shù)千小時(shí)的包含仿真或真實(shí)世界的駕駛數(shù)據(jù)日志。那么，如何才能知道自身的AD/ADAS系統(tǒng)是否始終按要求運(yùn)行？是否朝著更好的表現(xiàn)發(fā)展？

對(duì)“脫離”AD/ADAS模式的情況進(jìn)行分析是一種常見的方法。這有助于了解系統(tǒng)失敗的“原因”，而后可對(duì)表現(xiàn)不佳的地方進(jìn)行分組，提供一個(gè)概覽以確定糾正這些失敗的優(yōu)先順序。然而，“脫離”分析僅涵蓋“已知”的不當(dāng)行為，對(duì)于邊緣/極端情況該如何處理？更重要的是，對(duì)于險(xiǎn)些發(fā)生的事故如何處理？

例如，由于一個(gè)錯(cuò)誤檢測(cè)或者說“幽靈檢測(cè)”，白色的自車認(rèn)為它將與車輛1發(fā)生碰撞，因此決定執(zhí)行變道操作，如圖1所示。幸運(yùn)的是，由于自車的左車道是空的，該操作是可行的，否則就可能會(huì)由于自車的急剎車而導(dǎo)致與車輛4發(fā)生追尾事故。

圖1 追尾未遂

這種更深入、更有成效的分析也與ISO 21448（SOTIF）所提出的過程相匹配，以識(shí)別在某些不利觸發(fā)條件下系統(tǒng)可能會(huì)表現(xiàn)出的局限性、弱點(diǎn)與干擾，而這些都可能導(dǎo)致事故或相關(guān)意外事件的發(fā)生。

如果能夠提供AD/ADAS系統(tǒng)性能的概覽，工程師就可以迅速在結(jié)構(gòu)化分析中定位所有相關(guān)的事件或條件，例如：

（1）數(shù)據(jù)日志中出現(xiàn)了哪些未遂事故？

（2）系統(tǒng)在哪一個(gè)操作域（OD）表現(xiàn)不佳，原因是什么？

（3）開發(fā)是否正朝著更好的表現(xiàn)方向發(fā)展？

（4）是否應(yīng)該修改功能需求，以便流暢且充分地與現(xiàn)實(shí)世界交互？

（5）功能是否滿足了指定的需求？

因此，為了開發(fā)和驗(yàn)證AD/ADAS系統(tǒng)，需要有效地識(shí)別、分析并了解所有可能的未遂事故、性能不足或觸發(fā)條件，這些都對(duì)AD/ADAS系統(tǒng)構(gòu)成了挑戰(zhàn)。然而，當(dāng)前高度依賴人工的技術(shù)手段如同“海底撈針”，在數(shù)百萬小時(shí)的駕駛數(shù)據(jù)中幾乎難以發(fā)現(xiàn)目標(biāo)。

二、康謀IVEX智能概覽

為了整理駕駛數(shù)據(jù)并找到那些重要的“針”，康謀IVEX通過使用特定的安全和關(guān)鍵績(jī)效指標(biāo)（SPIs，KPIs），即根據(jù)采集/模擬駕駛數(shù)據(jù)匯總的“指標(biāo)（metrics）”，以創(chuàng)建系統(tǒng)性能的最佳概覽。

1、利用指標(biāo)整理駕駛數(shù)據(jù)

由于采集數(shù)據(jù)的非結(jié)構(gòu)化特性和不斷變化的動(dòng)態(tài)交通環(huán)境，整理駕駛數(shù)據(jù)存在巨大挑戰(zhàn)。我們?cè)O(shè)定了3個(gè)主要指標(biāo)類型來整理數(shù)據(jù)：傳感器與感知指標(biāo)、行為指標(biāo)、舒適度指標(biāo)。

第一層是傳感器與感知指標(biāo)。它們是自動(dòng)駕駛汽車與環(huán)境的初始接觸點(diǎn)，表示系統(tǒng)對(duì)周圍環(huán)境的感知程度，有助于在開發(fā)的早期階段突出性能不佳的情況，例如誤報(bào)對(duì)象檢測(cè)、車道線提取失敗等。

第二層指標(biāo)關(guān)注AD/ADAS系統(tǒng)采取的控制和行為動(dòng)作。例如，對(duì)于自動(dòng)緊急制動(dòng)（AEB）系統(tǒng)，需要檢查制動(dòng)信號(hào)是否在正確的時(shí)間觸發(fā)，進(jìn)而產(chǎn)生更好的減速。

第三層指標(biāo)是指乘客可能體驗(yàn)到的舒適度。例如，為了驗(yàn)證自動(dòng)車道保持輔助系統(tǒng)（ALKS），可以測(cè)量車輛產(chǎn)生的任何會(huì)給乘客帶來不適的擺動(dòng)行為。

根據(jù)待測(cè)的AD/ADAS功能確定了哪些指標(biāo)是感興趣的之后，就可以有效地開始整理數(shù)據(jù)。除了前面的例子，指標(biāo)還可以是跟蹤感知物體尺寸、檢查檢測(cè)到的車輛邊界框是否分裂或合并、監(jiān)測(cè)與其他交通元素的前后距離和橫向距離、預(yù)測(cè)潛在碰撞以及評(píng)估檢測(cè)到的車道標(biāo)識(shí)質(zhì)量。IVEX軟件也允許工程師通過簡(jiǎn)單的編程API包含他們自己的定制指標(biāo)。

2、創(chuàng)建合理且可觀的概覽

當(dāng)使用選定的指標(biāo)整理好記錄的駕駛數(shù)據(jù)后，如何在所有的數(shù)據(jù)中找到所需的“針”？在IVEX中，我們創(chuàng)建了一個(gè)優(yōu)化的流程來高效處理所有駕駛數(shù)據(jù)日志。

我們匯總了所有的測(cè)量結(jié)果，提供了一個(gè)基于指標(biāo)的清晰組織。此外，由于當(dāng)前的L2+ ADAS系統(tǒng)受限于運(yùn)行設(shè)計(jì)域（ODD），例如ALKS僅適用于車速低于60公里/小時(shí)的高速公路場(chǎng)景。我們根據(jù)ODD對(duì)分析進(jìn)行切分，以便于簡(jiǎn)化搜索空間。所有結(jié)果被匯總并呈現(xiàn)在一個(gè)簡(jiǎn)潔、可定制的界面中，只需單擊三下即可“大海撈針”，詳細(xì)檢查特定的駕駛場(chǎng)景。

現(xiàn)在，我們可以觀察整理得到的數(shù)據(jù)結(jié)果，如下圖所示。這些結(jié)果是對(duì)所有數(shù)據(jù)日志的全面匯總，并以簡(jiǎn)單但具有指導(dǎo)性的方式展示。每個(gè)指標(biāo)的結(jié)果顯示在每一行上，而ODD則顯示在列中。在每個(gè)單元格內(nèi)呈現(xiàn)的是相應(yīng)指標(biāo)與ODD組合的違規(guī)率。

圖2 聚合分析

舉個(gè)例子，假設(shè)我們正在分析城市環(huán)境中駕駛系統(tǒng)的舒適性：

在一次點(diǎn)擊中，我們選擇了“低速”O(jiān)DD（小于15公里/小時(shí)）下的“急剎車”指標(biāo)。

接下來,我們看到的是在所選擇的ODD內(nèi),所有分析的數(shù)據(jù)日志中施加的制動(dòng)減速度分布情況。如果要求規(guī)定施加的制動(dòng)減速度應(yīng)小于4米/秒2，那么可以立即看到有0.06%的情況未能滿足這一要求。通過第二次點(diǎn)擊，就可以選擇特定的制動(dòng)范圍（分布中的列）來分析特定的事件/情景。

圖3 智能概覽訪問特定記錄數(shù)據(jù)流程示意圖

而后，工程師就可以直接訪問確切時(shí)間戳的特定記錄數(shù)據(jù)，觀察完整情況并獲得有關(guān)問題的額外見解。

三、結(jié)論

本文案例中，IVEX可以從69小時(shí)的駕駛?cè)罩局袦?zhǔn)確篩選出會(huì)令乘客非常不舒適的特定急剎車事件（減速度超過4米/秒2），展示了一種非常簡(jiǎn)單工作流程。除了能夠幫助工程師在幾秒鐘內(nèi)從大量數(shù)據(jù)中找到相關(guān)事件，IVEX還提供可用于根據(jù)SOTIF和UL4600進(jìn)行安全論證的報(bào)告。

簡(jiǎn)而言之，IVEX可以助力于實(shí)現(xiàn)：

1、整理海量數(shù)據(jù)日志并從中識(shí)別特定事件

2、識(shí)別需要添加為SOTIF分析一部分的觸發(fā)條件

3、跟蹤AD/ADAS系統(tǒng)在不同迭代中的演變，以展示系統(tǒng)改進(jìn)的論據(jù)，并為UL4600文檔提供具體的支持。