融合感知的起飛

2023年末工信部，公安部，住房和城鄉(xiāng)建設(shè)部，交通運(yùn)輸部四部門(mén)聯(lián)合發(fā)布的《關(guān)于開(kāi)展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知》正式打響了中國(guó)L3級(jí)自動(dòng)駕駛賽道的第一聲發(fā)令槍，也意味著L3/L4級(jí)自動(dòng)駕駛商業(yè)化落地即將到來(lái)。

感知智能始終是實(shí)現(xiàn)L3/L4級(jí)自動(dòng)駕駛的技術(shù)難點(diǎn)，現(xiàn)在自動(dòng)駕駛市場(chǎng)無(wú)法有效解決的技術(shù)痛點(diǎn)在于1）基于純視覺(jué)網(wǎng)絡(luò)的Corner Cases問(wèn)題（環(huán)境光照影響、樣本長(zhǎng)尾效應(yīng)等）；2）4D毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的豐富度與置信度之間的矛盾；3）許多車企選用激光雷達(dá)作為主要傳感器之一，但激光雷達(dá)的性價(jià)比較低，且受大雨大霧天氣影響較大，另外大功率激光雷達(dá)還有掃到人眼可能致盲的潛在風(fēng)險(xiǎn)。

昱感微的“多傳感器多維像素融合感知芯片”可以解決問(wèn)題：昱感微融合感知芯片創(chuàng)新性地將可見(jiàn)光攝像頭、紅外攝像頭以及4D毫米波雷達(dá)的探測(cè)數(shù)據(jù)在前端（數(shù)據(jù)獲取時(shí)）交互，將各傳感器的探測(cè)數(shù)據(jù)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”，圖像與雷達(dá)數(shù)據(jù)完成像素級(jí)實(shí)時(shí)“時(shí)空對(duì)齊同步”并以“多維像素”格式輸出，基于“物理感知”數(shù)據(jù)驅(qū)動(dòng)，能很好地避免純視覺(jué)網(wǎng)絡(luò)的corner cases問(wèn)題；同時(shí)，毫米波雷達(dá)和攝像頭的結(jié)合還可以達(dá)到1+1>2的效果，使感知系統(tǒng)能夠不受天氣光線等場(chǎng)景限制，實(shí)時(shí)完成精準(zhǔn)目標(biāo)感知。

昱感微融合感知芯片的“多維像素”數(shù)據(jù)輸出是昱感微的核心技術(shù)創(chuàng)新之一。多維像素是指在可見(jiàn)光攝像頭像素信息上加上其它傳感器對(duì)于同源目標(biāo)感知的信息，將感知系統(tǒng)的感知維度擴(kuò)展以實(shí)現(xiàn)多維度（多模態(tài)）感知目標(biāo)的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達(dá)探測(cè)目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測(cè)的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個(gè)像素不僅有視覺(jué)信息，還包含了4D毫米波雷達(dá)和紅外傳感器的探測(cè)數(shù)據(jù)，形成多維度（多模態(tài)）測(cè)量參數(shù)矩陣數(shù)組?；趫D像像素為基準(zhǔn)+雷達(dá)數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計(jì)算平臺(tái)完全兼容，助力客戶高效平滑升級(jí)產(chǎn)品。

昱感微的雷視融合感知方案提供目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知信息。多模態(tài)是指傳感器對(duì)目標(biāo)與環(huán)境感知的圖像數(shù)據(jù)（明暗、紋理、顏色等）+雷達(dá)數(shù)據(jù)（目標(biāo)的距離、速度、材質(zhì)等）+紅外輻射數(shù)據(jù)（紋理、溫度等）的綜合感知。當(dāng)人眼看到路上行駛的汽車，大腦中反映出的信息不僅是一輛汽車，還有它的顏色、型號(hào)/品牌、方向、以及大概的速度和距離等信息，這就是人眼解讀出的視覺(jué)語(yǔ)言。昱感微的雷視融合方案可以比人眼更敏銳，為自動(dòng)駕駛系統(tǒng)提供更豐富更精準(zhǔn)的“視覺(jué)語(yǔ)言”——目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知數(shù)據(jù)，使自動(dòng)駕駛系統(tǒng)實(shí)時(shí)精準(zhǔn)感知道路上的各種狀況。

對(duì)目標(biāo)的感知，4D毫米波雷達(dá)在立體空間的每個(gè)檢測(cè)點(diǎn)（3D空間的密集數(shù)據(jù)采樣點(diǎn)）可以取得推算出來(lái)的包含此處（采樣點(diǎn)）的距離、相對(duì)運(yùn)動(dòng)速度（多普勒信息）、水平方位角和俯仰角維度的功率測(cè)量信息——業(yè)界稱其為：雷達(dá)4D張量信息（“4D Radar Tensors”，簡(jiǎn)稱為: “4DRT”信息）。雷達(dá)4D張量信息數(shù)據(jù)量非常豐富，最大程度地保留有效的感知信息。目前4D雷達(dá)產(chǎn)品點(diǎn)云仍較稀疏，其主要原因之一是現(xiàn)有通用的信號(hào)過(guò)濾器會(huì)造成大量信息損失（例如采用目前流行的CFAR：“Constant False Alarm Rate”即“恒定虛警率”檢測(cè)算法）；但如果沒(méi)有進(jìn)行數(shù)據(jù)過(guò)濾提取（對(duì)比用CFAR算法處理的步驟），系統(tǒng)輸出且后續(xù)模塊再需要處理的數(shù)據(jù)量又太大，對(duì)于系統(tǒng)的傳輸帶寬、內(nèi)存緩存、后續(xù)系統(tǒng)算力都提出了極高的要求，在算法里如何有效區(qū)分與識(shí)別目標(biāo)的有效反射信息（系統(tǒng)希望獲取的）與雜波信號(hào)和噪聲信號(hào)就更加挑戰(zhàn)了。最挑戰(zhàn)的還是在雷達(dá)算法本身，在雷達(dá)系統(tǒng)獲取的大量的4D張量采樣信息里，如何區(qū)分出哪些信息是目標(biāo)對(duì)雷達(dá)信號(hào)產(chǎn)生的有效反射信息（系統(tǒng)希望獲取的），哪些信息是背景噪聲，哪些信息是其它雷達(dá)系統(tǒng)帶來(lái)的信號(hào)串?dāng)_，哪些信息是雷達(dá)信號(hào)的多徑串?dāng)_……如何有效地區(qū)分它們并最大限度地識(shí)別出目標(biāo)有效反射信息，是解決4D毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的豐富度與置信度之間的矛盾的方法，也是目前行業(yè)正期待有技術(shù)突破的方向，需要重新定義與設(shè)計(jì)雷達(dá)感知、定位和映射的算法，以強(qiáng)化并重新演繹出4D毫米波雷達(dá)的強(qiáng)感知特性。

昱感微的融合感知芯片將雷達(dá)4D張量信息與圖像像素信息做對(duì)接，形成類似的“多維像素?cái)?shù)據(jù)矩陣”，將雷達(dá)的每個(gè)4D張量信息與圖像像素矩陣層中的像素元素建立一一對(duì)應(yīng)關(guān)系。這樣可以高效地識(shí)別分辨出雷達(dá)信號(hào)產(chǎn)生的有效反射信息，在最大限度地保留雷達(dá)點(diǎn)云數(shù)據(jù)豐富度的同時(shí)增加其數(shù)據(jù)的置信度。

引入圖像信息帶來(lái)的好處：系統(tǒng)基于圖像信息帶入的語(yǔ)義信息來(lái)構(gòu)建更精細(xì)的雷達(dá)數(shù)據(jù)處理算法，在圖像語(yǔ)義信息的支持下，機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法更精確高效完成雷達(dá)4D張量信息對(duì)目標(biāo)與環(huán)境完整感知信息的獲取。

“雷達(dá)4D張量信息＋圖像的像素信息”是實(shí)現(xiàn)目標(biāo)與環(huán)境多模態(tài)精準(zhǔn)感知、助力毫米波雷達(dá)感知跨越目前門(mén)檻的最佳方式。多模態(tài)視覺(jué)語(yǔ)言（多模態(tài)語(yǔ)義）解析的傳感器融合方式已經(jīng)是業(yè)界新一輪傳感器融合產(chǎn)品起飛的跑道，是完全滿足L3/L4級(jí)自動(dòng)駕駛要求的感知最優(yōu)解。

昱感微的融合感知方案將視覺(jué)圖像信息和雷達(dá)探測(cè)信息實(shí)現(xiàn)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”的“多維像素”信息輸出，將賦予產(chǎn)業(yè)界前所未有的感知能力。