感知融合為自動駕駛與機(jī)器視覺解開當(dāng)前無解場景之困

昱感微的“雷視一體融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達(dá)的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）融合，將各傳感器的探測數(shù)據(jù)“坐標(biāo)統(tǒng)一、時序?qū)R”，圖像與雷達(dá)數(shù)據(jù)完成像素級實時“時空對齊同步”并以“多維像素”格式輸出，為自動駕駛系統(tǒng)提供目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知信息：即傳感器對目標(biāo)與環(huán)境感知的圖像數(shù)據(jù)（明暗、紋理、顏色等）+雷達(dá)數(shù)據(jù)（目標(biāo)的距離、速度、材質(zhì)等）+紅外輻射數(shù)據(jù)（紋理、溫度等）的綜合感知。

目前昱感微現(xiàn)正與多家工業(yè)機(jī)器人（自動掃地車、自動農(nóng)機(jī)等）客戶緊密合作中，我們的方案產(chǎn)品已經(jīng)裝車測試，解決了許多過去自動駕駛無解的場景和corner cases。例如在下圖場景中，過去靠單一傳感器如雷達(dá)探測左邊的欄桿，由于缺乏圖像的語義信息，自動駕駛系統(tǒng)很容易將欄桿的反射點當(dāng)成噪點忽略；現(xiàn)在感知側(cè)主流方案——基于可見光攝像頭的純視覺方案若碰到?jīng)]有采樣過的目標(biāo)同樣也無法識別。而昱感微的雷視一體融合感知方案將圖像和雷達(dá)信息融合輸出豐富的“多維像素”數(shù)據(jù)（如右下圖），使自動駕駛系統(tǒng)能清楚地識別出道路左邊的欄桿以及它的距離位置3D形狀等信息。昱感微的融合感知技術(shù)方案的優(yōu)勢在于1）是基于“物理感知”數(shù)據(jù)驅(qū)動，能很好地避免純視覺神經(jīng)網(wǎng)絡(luò)的corner cases問題；2）傳感器前融合的方式可以最大限度地保留原始探測數(shù)據(jù)，并發(fā)揮各傳感器的優(yōu)勢，使感知系統(tǒng)能夠不受天氣光線和場景的限制，實時完成精準(zhǔn)目標(biāo)感知。

另外，多維像素還能探測出路面的起伏，幫助自動駕駛系統(tǒng)對于不同的起伏程度采取對應(yīng)的決策。基于攝像頭的純視覺方案無法精確檢測出路面的起伏，僅靠雷達(dá)的探測信息如果沒有圖像的語義信息直接對接也無法提取出細(xì)致對應(yīng)的反射信息（直接映射目標(biāo)的對應(yīng)反射點）從而精準(zhǔn)測量與判斷路面的情況。而昱感微的融合感知方案可以解決這個棘手的難題：在下圖的3D空間采樣數(shù)據(jù)（3D點云）中可以看到，“多維像素”能提供路面起伏程度的信息，即使是路邊高起一點的下水蓋也能清楚地探測到，對自動駕駛規(guī)劃路線非常有幫助。

不僅是路面的起伏，根據(jù)圖像信息和雷達(dá)探測出的材質(zhì)信息，“多維像素”還可以提供路面上覆蓋物的材質(zhì)和狀況信息，對于探測到的較脆弱的材質(zhì)或已損壞的覆蓋物就需要避讓。這些場景都是目前自動駕駛感知側(cè)無解的技術(shù)難點，而昱感微的融合感知方案可以一一為客戶解決這些難題。

國內(nèi)城市道路復(fù)雜，純視覺的感知方案受光線天氣影響較大且有許多無法識別的corner cases，光靠雷達(dá)感知也存在點云的置信度存疑、缺乏語義分析無法將目標(biāo)識別標(biāo)注等問題，昱感微的融合感知方案使視覺和雷達(dá)結(jié)合達(dá)到1+1>2的效果，幫助客戶解決各種疑難場景。例如和自動掃地車客戶的項目合作中，在道路有路障的場景下，“多維像素”數(shù)據(jù)使自動駕駛可清楚地識別出路障以及其間距，并判斷是否應(yīng)從中間穿過。對于路邊的垃圾，多維像素所提供的多模態(tài)精準(zhǔn)感知信息可以使自動駕駛系統(tǒng)清楚地判別探測到的目標(biāo)，并進(jìn)行清掃；對于不適宜清掃的目標(biāo)（如水泥黃沙堆等）則進(jìn)行避讓。另外，在圖像和雷達(dá)數(shù)據(jù)組成的多維像素幫助下，一些困擾自動駕駛系統(tǒng)的場景如隨風(fēng)飄起的垃圾袋（通過多維像素的圖像/材質(zhì)/速度等信息判斷），晃動的樹影（僅有圖像變化無雷達(dá)反射點）等都可以迎刃而解。

并且昱感微的融合感知方案完全不依賴高精地圖。對于沒有清晰車道線和邊界的道路（如上圖），自動駕駛系統(tǒng)也能根據(jù)“多維像素”提供的多模態(tài)感知信息來規(guī)劃路徑。此外，自動農(nóng)機(jī)對于感知精度的要求也非常高，其來回播種插秧的間隔距離在5厘米左右，如此的精度目前市場上的感知產(chǎn)品還很難做到，而昱感微精確到像素級的融合感知方案可以很好地達(dá)到客戶要求的感知精度，確保播種插秧均勻不重復(fù)。

昱感微的多傳感器融合感知方案從另一個角度看可以說是在幫助客戶產(chǎn)品完成目標(biāo)與環(huán)境的精密測量，精確測量出目標(biāo)的輪廓/方位/距離/速度/材質(zhì)/溫度等各種數(shù)據(jù)，為自動駕駛系統(tǒng)提供目標(biāo)與環(huán)境的多模態(tài)感知精準(zhǔn)信息。盡管掃地車農(nóng)用車等工農(nóng)業(yè)用機(jī)器人在速度上慢于乘用車，但它們對于感知精度的要求明顯高于乘用車，遇到的特殊場景corner cases也不亞于乘用車，而這些昱感微的融合感知方案可以幫助它們解決，并滿足客戶對感知精度的要求，獲得了許多客戶的認(rèn)可。我們相信未來昱感微的方案產(chǎn)品在乘用車上也會有非常優(yōu)異的表現(xiàn)，助力車企跨越L3/L4級自動駕駛的技術(shù)門檻。

關(guān)于昱感微

昱感微的“多傳感器融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達(dá)的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）融合，將各傳感器的探測數(shù)據(jù)“坐標(biāo)統(tǒng)一、時序?qū)R”，并以“多維像素”格式輸出。

“多維像素”是昱感微的核心技術(shù)創(chuàng)新之一，它是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標(biāo)感知的信息，將感知系統(tǒng)的感知維度擴(kuò)展以實現(xiàn)多維度（多模態(tài)）感知目標(biāo)的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達(dá)探測目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個像素不僅有視覺信息，還包含了4D毫米波雷達(dá)和紅外傳感器的探測數(shù)據(jù)，形成多維度（多模態(tài)）測量參數(shù)矩陣數(shù)組。基于圖像像素為基準(zhǔn)+雷達(dá)數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計算平臺完全兼容，它可以復(fù)用已有的圖像數(shù)據(jù)樣本，免除了產(chǎn)品的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)需要完全重新采集的困擾。