未來(lái)已來(lái)，多傳感器融合感知是自動(dòng)駕駛破局的關(guān)鍵

美國(guó)加州議會(huì)的公共事務(wù)委員會(huì)做出宣判：允許谷歌旗下Waymo和通用旗下Cruise的Robotaxi在舊金山不受限制地載客，即24×7全天候的、城區(qū)范圍不受限制、主駕無(wú)人的、且可以向乘客收費(fèi)的Robotaxi運(yùn)營(yíng)。這標(biāo)志著L4級(jí)自動(dòng)駕駛迎來(lái)了新的里程碑，朝著商業(yè)化落地邁進(jìn)了一大步。中國(guó)的車(chē)企也不甘落后：4月7日，廣汽埃安與滴滴自動(dòng)駕駛宣布合資公司——廣州安滴科技有限公司獲批工商執(zhí)照。廣汽埃安方面表示，這是L4級(jí)自動(dòng)駕駛公司和車(chē)企為了打造Robotaxi量產(chǎn)車(chē)，在國(guó)內(nèi)成立的首個(gè)合資公司。首款車(chē)型已完成產(chǎn)品定義，正在進(jìn)行設(shè)計(jì)造型的聯(lián)合評(píng)審，計(jì)劃明年實(shí)現(xiàn)量產(chǎn)。未來(lái)已來(lái)，2024年是全球L3/L4級(jí)自動(dòng)駕駛賽跑的元年。
馬斯克評(píng)論FSD 12.3版本的左轉(zhuǎn)彎操作就像人類司機(jī)一樣。如果FSD 12.3版本成功，將基本顛覆目前市場(chǎng)上的智能駕駛技術(shù)路線?；凇皵?shù)據(jù)/算法/算力”的無(wú)人駕駛技術(shù)有著基本的判斷：在中短期內(nèi)無(wú)法解決corner case長(zhǎng)尾安全問(wèn)題，十年內(nèi)不太可能實(shí)現(xiàn)量產(chǎn)落地。隨著GPT大模型和特斯拉FSD端到端的出現(xiàn)，基于“數(shù)據(jù)-算力”的方法拋棄了傳統(tǒng)的算法和編程CODING，取得了巨大的進(jìn)展；自動(dòng)駕駛開(kāi)始摒棄手動(dòng)編碼規(guī)則和機(jī)器學(xué)習(xí)模型的方法，轉(zhuǎn)向全面采用端到端的神經(jīng)網(wǎng)絡(luò)AI系統(tǒng)，它能模仿學(xué)習(xí)人類司機(jī)的駕駛，遇到場(chǎng)景直接輸入傳感器數(shù)據(jù)，再直接輸出轉(zhuǎn)向、制動(dòng)和加速信號(hào)。模仿學(xué)習(xí)人類駕駛的關(guān)鍵的是具備人類的感知能力，多傳感器融合感知正是自動(dòng)駕駛破局的關(guān)鍵。昱感微的雷視一體多傳感器融合方案就好像一雙比人眼更敏銳的眼睛，可以為自動(dòng)駕駛系統(tǒng)提供更豐富更精準(zhǔn)的視覺(jué)語(yǔ)言——目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知信息，使自動(dòng)駕駛系統(tǒng)可以實(shí)時(shí)精準(zhǔn)地感知道路上的各種狀況。

昱感微融合感知產(chǎn)品方案創(chuàng)新性地將可見(jiàn)光攝像頭、紅外攝像頭以及4D毫米波雷達(dá)的探測(cè)數(shù)據(jù)在前端（數(shù)據(jù)獲取時(shí)）交互，將各傳感器的探測(cè)數(shù)據(jù)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”，圖像與雷達(dá)數(shù)據(jù)完成像素級(jí)實(shí)時(shí)“時(shí)空對(duì)齊同步”并以“多維像素”格式輸出。“多維像素”是昱感微的核心技術(shù)創(chuàng)新之一，它是指在可見(jiàn)光攝像頭像素信息上加上其它傳感器對(duì)于同源目標(biāo)感知的信息，將感知系統(tǒng)的感知維度擴(kuò)展以實(shí)現(xiàn)多維度（多模態(tài)）感知目標(biāo)的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達(dá)探測(cè)目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測(cè)的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個(gè)像素不僅有視覺(jué)信息，還包含了4D毫米波雷達(dá)和紅外傳感器的探測(cè)數(shù)據(jù)，形成多維度（多模態(tài)）測(cè)量參數(shù)矩陣數(shù)組。基于圖像像素為基準(zhǔn)+雷達(dá)數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計(jì)算平臺(tái)完全兼容，它可以復(fù)用已有的圖像數(shù)據(jù)樣本，免除了產(chǎn)品的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)需要完全重新采集的困擾。

昱感微的融合感知技術(shù)采用最前沿的多傳感器前融合技術(shù)，攝像頭和雷達(dá)等多傳感器的探測(cè)數(shù)據(jù)在前端（數(shù)據(jù)獲取時(shí)）交互驗(yàn)證，讓自動(dòng)駕駛系統(tǒng)能感知到“看不見(jiàn)”的危險(xiǎn)。例如，在反向車(chē)道有強(qiáng)遠(yuǎn)光燈干擾的情況下，當(dāng)雷達(dá)子系統(tǒng)探測(cè)到潛在運(yùn)動(dòng)目標(biāo)時(shí)，融合感知系統(tǒng)可以引導(dǎo)本車(chē)的攝像頭針對(duì)運(yùn)動(dòng)目標(biāo)做快速局部修正曝光（見(jiàn)下圖），以此實(shí)時(shí)獲取運(yùn)動(dòng)目標(biāo)的分辨細(xì)節(jié)特征，并將局部修正曝光的圖像融合雷達(dá)數(shù)據(jù)傳輸至自動(dòng)駕駛系統(tǒng)，避免撞擊危險(xiǎn)發(fā)生。

昱感微的融合感知技術(shù)方案的優(yōu)勢(shì)在于1）是基于“物理感知”數(shù)據(jù)驅(qū)動(dòng)，能很好地避免純視覺(jué)網(wǎng)絡(luò)的corner cases問(wèn)題；2）傳感器前融合的方式可以最大限度地保留原始探測(cè)數(shù)據(jù)，并發(fā)揮各傳感器的優(yōu)勢(shì)，使感知系統(tǒng)能夠不受天氣光線等場(chǎng)景限制，實(shí)時(shí)完成精準(zhǔn)目標(biāo)感知；3）支持目標(biāo)的識(shí)別與樣本采樣同步完成，助力車(chē)廠建立數(shù)據(jù)優(yōu)勢(shì)，這也是未來(lái)車(chē)廠的核心競(jìng)爭(zhēng)力之一。特斯拉成功推出采用端到端方案的FSDV12版本，很大一個(gè)助力因素是特斯拉的巨大數(shù)據(jù)優(yōu)勢(shì)，海量的視頻數(shù)據(jù)訓(xùn)練使FSD越來(lái)越擬人化。不過(guò)，鑒于中國(guó)路況復(fù)雜并且與歐美道路差異較大，中國(guó)車(chē)企在數(shù)據(jù)訓(xùn)練方面有望迎頭趕上，而昱感微的融合感知技術(shù)的感知數(shù)據(jù)可助力中國(guó)車(chē)企實(shí)現(xiàn)彎道超車(chē)：融合感知系統(tǒng)可同步完成目標(biāo)識(shí)別與樣本采樣，也就是說(shuō)車(chē)廠可以利用配備融合感知系統(tǒng)的汽車(chē)進(jìn)行大數(shù)據(jù)采集，分析其廣大車(chē)主的駕駛數(shù)據(jù)來(lái)建立自身的數(shù)據(jù)優(yōu)勢(shì)。另外，特斯拉的軟件能力現(xiàn)已成為差異化賣(mài)點(diǎn)，F(xiàn)SD套件的盈利模式采用一次性買(mǎi)斷制和按月訂閱制，且一次性購(gòu)買(mǎi)價(jià)格經(jīng)過(guò)多輪漲價(jià)，目前已升至15000美元。智能軟件差異化競(jìng)爭(zhēng)和汽車(chē)應(yīng)用付費(fèi)模式很可能是未來(lái)汽車(chē)行業(yè)的趨勢(shì)。昱感微融合感知系統(tǒng)內(nèi)含一個(gè)專用的數(shù)據(jù)獲取模塊，將目標(biāo)的識(shí)別與有效樣本的獲取結(jié)合，可提供有效樣本的獲取函數(shù)，配合車(chē)廠開(kāi)發(fā)。并且多維像素格輸出的感知數(shù)據(jù)在有效性和豐富度上都高于純視覺(jué)（視頻數(shù)據(jù)），可以快速提升AI神經(jīng)網(wǎng)絡(luò)的訓(xùn)練收斂率以及目標(biāo)識(shí)別率，為車(chē)廠增加智能駕駛的核心競(jìng)爭(zhēng)力。此外，多維像素還可以直接高效支持“占用網(wǎng)絡(luò)” (Occupancy Network)算法。占用網(wǎng)格是指將感知空間劃分為一個(gè)個(gè)立體網(wǎng)格（體素），而多維像素包含了目標(biāo)的3D空間位置信息、目標(biāo)的速度信息和材質(zhì)信息，可以直接高效實(shí)時(shí)支持占用網(wǎng)格中的體素算法。Tesla目前在主推“BEV +Transformer+占用網(wǎng)絡(luò)”，國(guó)內(nèi)華為GOD2.0和小米汽車(chē)也采用相同的架構(gòu)，預(yù)計(jì)未來(lái)許多智能駕駛團(tuán)隊(duì)都會(huì)引入“占用網(wǎng)絡(luò)”來(lái)提升系統(tǒng)能力。多維像素的應(yīng)用前景非常廣闊。昱感微的融合感知技術(shù)+BEV +Transformer+占用網(wǎng)格有望成為L(zhǎng)3/L4級(jí)自動(dòng)駕駛最優(yōu)的落地方案。