Nullmax感知的CI/CD流程以數(shù)據(jù)說話 用技術(shù)“找茬兒”

在許多人的印象中，自動(dòng)駕駛的測試是一項(xiàng)有些樸實(shí)無華的工作，測試人員坐在車?yán)锊煌５刂貜?fù)行駛，非常重要但又難以出彩。不過事實(shí)并非這樣，實(shí)車測試只是測試工作的一個(gè)部分，大量有趣的技術(shù)和精彩的瞬間其實(shí)出現(xiàn)在實(shí)車之外。

比如，開發(fā)各種各樣的測試工具，打造自動(dòng)化的測試流水線，找出萬中無一的特殊場景，等等。而在Nullmax，測試工作還有更多精彩有趣的地方，特別是富有特色的自動(dòng)駕駛感知測試，堪稱「問題殺手」。

作為Nullmax量產(chǎn)工程的重要一環(huán)，感知測試聚焦于核心的感知層面，將測試的環(huán)節(jié)前移和細(xì)化到系統(tǒng)的上游，通過大量的技術(shù)手段來更早地發(fā)現(xiàn)問題、解決問題。

以數(shù)據(jù)說話，用技術(shù)「找茬兒」

對(duì)于感知測試來說，最基礎(chǔ)的工作是針對(duì)各項(xiàng)感知任務(wù)展開深入細(xì)致的測試，結(jié)合完善的測評(píng)體系和詳細(xì)的測試指標(biāo)進(jìn)行全面的定量分析，用數(shù)據(jù)和事實(shí)發(fā)現(xiàn)問題，改善性能。

比如測試一項(xiàng)感知任務(wù)，那么場景既要包括直道也要包括彎道，還要涵蓋和白天和夜間，并且需要考慮不同類型的車輛目標(biāo)，輸出詳細(xì)的測試報(bào)告。并非是僅僅告知好或者不好，哪里好或者哪里不好，而是既要有性能的整體評(píng)估，還要有各種場景下每項(xiàng)指標(biāo)的具體數(shù)據(jù)。

除此之外，感知測試還開發(fā)了一整套無監(jiān)督發(fā)現(xiàn)問題的自動(dòng)化腳本，配合感知的日常開發(fā)。當(dāng)工程師修改完代碼以后，可以通過這套腳本和高效的自動(dòng)化數(shù)據(jù)平臺(tái)，預(yù)先檢查任務(wù)效果，發(fā)現(xiàn)潛在的問題。這樣可以將感知測試的環(huán)節(jié)進(jìn)一步前移，而不是在感知交付后再進(jìn)行測試。

這套無監(jiān)督發(fā)現(xiàn)問題的方法，可以在沒有“參考答案”的無真值情況下，根據(jù)時(shí)序和物理異常值去篩選出問題數(shù)據(jù)。比如，在相機(jī)輸入的連續(xù)幀圖片中，障礙物速度的不合理變化，障礙物類型的來回跳變，車身傾角的左右大幅擺動(dòng)，明顯不合真實(shí)世界的運(yùn)動(dòng)邏輯，再比如車身尺寸、速度、位置明顯違背物理常識(shí)等等，這些異常背后很可能存在一些感知的問題。

有了這些自動(dòng)化的腳本，這種異常數(shù)據(jù)很容易找出，潛在的問題能夠被輕松發(fā)現(xiàn)，也不需要測試人員進(jìn)行監(jiān)督，可以極大程度地節(jié)省開發(fā)和測試時(shí)間。

感知測試也會(huì)「自動(dòng)駕駛」

實(shí)際上，這些無監(jiān)督發(fā)現(xiàn)問題的手段只是Nullmax高效感知測試的一部分。Nullmax在感知層面構(gòu)建了完整的CI/CD流程，持續(xù)集成、持續(xù)測試、持續(xù)開發(fā)，以大量自動(dòng)化的工具提升感知環(huán)節(jié)的開發(fā)、測試、集成效率。

比如，在開發(fā)一個(gè)功能或者修復(fù)某個(gè)bug之后，工程師其實(shí)既不知道最終的效果，也不清楚這些功能和改動(dòng)是否會(huì)帶來負(fù)面的影響。因?yàn)橛袝r(shí)候代碼會(huì)牽一發(fā)而動(dòng)全身，有一定的概率出現(xiàn)A任務(wù)代碼影響B(tài)任務(wù)效果的情況。這種情況很少被關(guān)注，而且在初期的時(shí)候不易發(fā)現(xiàn)，但是一旦暴露在系統(tǒng)層面，就到了偏晚的階段，需要耗費(fèi)更大的力氣去解決。

但是感知層面有了完整的自動(dòng)化流程后，通過回歸測試，就可以自動(dòng)化地驗(yàn)證問題，避免這類情況。比如，感知軟件解決測距測速不準(zhǔn)的問題，那么工程師在修復(fù)代碼后可以直接根據(jù)問題的編號(hào)找到對(duì)應(yīng)的數(shù)據(jù)，借助數(shù)據(jù)回灌初步評(píng)估修復(fù)效果，然后再將代碼上傳到軟件倉庫。

在這之后，云端的一整套感知測試環(huán)境，自動(dòng)化地評(píng)估修復(fù)的效果，確認(rèn)是修復(fù)了單一具體問題，還是為一系列的類似情況帶來了全面的提升，包括有沒有因?yàn)樾迯?fù)帶來其他的問題。這套環(huán)境會(huì)根據(jù)當(dāng)次的提交內(nèi)容和關(guān)聯(lián)的Bug ID，自動(dòng)化地抽取數(shù)據(jù)庫中對(duì)應(yīng)標(biāo)簽的大量問題數(shù)據(jù)進(jìn)行測試。

Nullmax這一整套感知的CI/CD流程不需要任何的手動(dòng)操作，通過背后高效的自動(dòng)化數(shù)據(jù)平臺(tái)，感知開發(fā)、測試、集成的整套流程可以完全自動(dòng)化地完成，不僅極大程度降低了人力和時(shí)間的需求，同時(shí)更加全面、深入地檢測了感知問題的修復(fù)效果。

在自動(dòng)駕駛行業(yè)，部分企業(yè)將CI/CD運(yùn)用到了系統(tǒng)層面的開發(fā)當(dāng)中，Nullmax更進(jìn)一步，將CI/CD深入地運(yùn)用到感知層面，這使得Nullmax的整體開發(fā)尤為高效。因?yàn)楦兄鳛樽詣?dòng)駕駛的上游環(huán)節(jié)，存在的問題很容易傳遞到下游的規(guī)控，影響系統(tǒng)的表現(xiàn)，Nullmax將CI/CD深化到感知層面，可以將大部分問題扼殺在搖籃當(dāng)中。

并且在軟件發(fā)版環(huán)節(jié)，Nullmax為感知部分的集成設(shè)置了節(jié)奏差，留出了發(fā)現(xiàn)問題、解決問題的時(shí)間。項(xiàng)目的開發(fā)過程當(dāng)中，自動(dòng)駕駛的軟件系統(tǒng)會(huì)定期發(fā)版，將感知、規(guī)控、通信、中間件等所有內(nèi)容整合打包。在這之前，Nullmax會(huì)將感知部分先行單獨(dú)發(fā)版，然后通過自動(dòng)化工具和測試人員進(jìn)行測試，輸出具體報(bào)告，評(píng)估前期問題的修復(fù)情況。

如果感知版本符合預(yù)期，就可以在之后的系統(tǒng)發(fā)版時(shí)直接集成，如果存在問題，那么也還有時(shí)間繼續(xù)修改和測試。這樣可以極大程度地避免上游的感知問題影響系統(tǒng)整體，而且更利于問題的定位和系統(tǒng)的改進(jìn)，將系統(tǒng)發(fā)版和項(xiàng)目開發(fā)的效率大幅提升。

數(shù)據(jù)「在環(huán)」，「雙商」在線

為了更好地支持自動(dòng)駕駛系統(tǒng)的開發(fā)和落地，Nullmax打造了AI數(shù)據(jù)中樞，一套以視覺為核心、高度自動(dòng)化的一站式數(shù)據(jù)平臺(tái)，涵蓋數(shù)據(jù)采集、挖掘、標(biāo)注、模型訓(xùn)練、測試以及軟件的發(fā)版等全部環(huán)節(jié)。

在這當(dāng)中，感知測試在數(shù)據(jù)管理的部分做了大量的工作，將開發(fā)所需的數(shù)據(jù)采集、管理的工具部署到了平臺(tái)之上，使得感知測試的數(shù)據(jù)能夠高效閉環(huán)，不僅可以更好采集數(shù)據(jù)，而且可以更好地利用數(shù)據(jù)。

當(dāng)感知、系統(tǒng)實(shí)車測試的時(shí)候，又或者專門的數(shù)據(jù)采集時(shí)，這些工具可以在車上自動(dòng)化地為數(shù)據(jù)打上標(biāo)簽，并且之后在云端完成更進(jìn)一步的細(xì)致處理，將所有感知的數(shù)據(jù)分門別類，標(biāo)注各項(xiàng)屬性，包括所屬的問題種類、關(guān)聯(lián)的Bug ID等等。

這樣在后續(xù)修復(fù)bug的時(shí)候，只需要輸入對(duì)應(yīng)的Bug ID，這一類型的所有問題都可以直接關(guān)聯(lián)。當(dāng)工程師上傳修復(fù)代碼的時(shí)候，同類型、關(guān)聯(lián)類型的問題也都可以自動(dòng)化地測試一遍，確認(rèn)問題徹底修復(fù)。所有前期收集的數(shù)據(jù)，最后都可以直接為功能的開發(fā)、測試和迭代發(fā)揮作用。

實(shí)際上，Nullmax的自動(dòng)駕駛測試，包括感知測試在內(nèi)，都是技術(shù)性很強(qiáng)的重要工作，而且當(dāng)中的「AI含量」越來越高。不僅在當(dāng)前的研發(fā)和應(yīng)用當(dāng)中，測試工作變得更加智能高效，在大模型技術(shù)愈加成熟的今后，測試工作也會(huì)更具想象力。

結(jié)語

自動(dòng)駕駛需要通過測試及早全面地發(fā)現(xiàn)問題，快速提升性能，同時(shí)也要通過測試來驗(yàn)證系統(tǒng)安全可靠，功能、性能符合要求。Nullmax將自動(dòng)駕駛的測試細(xì)化、前移到上游的感知層面，不僅讓整個(gè)開發(fā)的過程更加高效，也令量產(chǎn)的質(zhì)量更有保證。

審核編輯：彭菁