黑芝麻智能在BEV感知方面的研發(fā)進(jìn)展

日前，在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上，黑芝麻智能深度學(xué)習(xí)研發(fā)高級(jí)總監(jiān)王祚官發(fā)表了主題為“BEV感知，給自動(dòng)駕駛開啟‘上帝視角’”的主旨演講，分享黑芝麻智能在BEV感知方面的研發(fā)進(jìn)展。

近日，由黑芝麻智能主辦的“2023智能汽車高峰論壇”匯聚了眾多行業(yè)專家和企業(yè)代表。在其中的軟件論壇上，來(lái)自不同領(lǐng)域的嘉賓共同探討新形勢(shì)下汽車軟件行業(yè)的未來(lái)。黑芝麻智能深度學(xué)習(xí)研發(fā)高級(jí)總監(jiān)王祚官在論壇上發(fā)表了主題為“BEV感知，給自動(dòng)駕駛開啟‘上帝視角’”的主旨演講，分享黑芝麻智能在BEV感知方面的研發(fā)進(jìn)展。

感知質(zhì)量更好的前融合方案

BEV是Bird‘s-Eye-View Perception的縮寫，即鳥瞰視角感知，簡(jiǎn)單而言就是融合車載多視角攝像頭的輸入，然后變成鳥瞰圖的檢測(cè)輸出，可用于各種下游任務(wù)。

相校于傳統(tǒng)的感知算法，BEV感知有明顯優(yōu)勢(shì)。如果把多視角的感知看作一個(gè)融合過(guò)程，傳統(tǒng)的感知算法可以看作是一個(gè)后融合方案，其典型做法是對(duì)每一路輸入的視頻做單獨(dú)檢測(cè)，然后通過(guò)一些方法把檢測(cè)結(jié)果融合起來(lái)。其缺點(diǎn)是會(huì)產(chǎn)生一些比較大的累計(jì)誤差。

BEV感知?jiǎng)t屬于前融合感知，把圖像特征先融合起來(lái)，直接生成BEV的檢測(cè)結(jié)果，如此省去了很多中間步驟，生成的感知結(jié)果質(zhì)量比后融合方案的更好。

王祚官表示，BEV感知能為自動(dòng)駕駛感知任務(wù)提供有效的時(shí)空表征方法，將成為車載感知的主流發(fā)展方向。

黑芝麻智能開發(fā)多重亮點(diǎn)的BEV技術(shù)

王祚官介紹，黑芝麻智能的BEV框架主要分三部分：第一部分是特征提取，對(duì)每一路輸入的圖像，提取其圖像特征；第二部分是BEV的特征生成，包含空間的融合和時(shí)間的融合；第三部分是目標(biāo)檢測(cè)。

整體而言，黑芝麻智能開發(fā)的BEV技術(shù)有諸多亮點(diǎn)：上下文感知增強(qiáng)的BEV投影，可自適應(yīng)時(shí)空采樣，可學(xué)習(xí)車道結(jié)構(gòu)的碼本，基于“BST渲染器”的實(shí)時(shí)矢量化地圖構(gòu)建能力，結(jié)合“NeRF + LiDAR”的 Occupancy Grid Map（占位柵格地圖）功能 ，以及芯片本身的高效網(wǎng)絡(luò)架構(gòu)與強(qiáng)大性能。

在將圖像投影到三維空間時(shí)，現(xiàn)有方法僅從一條光線中采樣上下文特征。黑芝麻智能采用了上下文感知的增強(qiáng)BEV，圖象包括非常豐富的場(chǎng)景信息，最終可以得到質(zhì)量非常高的BEV。

空間的融合之后，緊接著就是時(shí)間的融合，典型做法是把當(dāng)前均勻采樣的幀融合在一起。但這樣做有一個(gè)明顯問(wèn)題，即車輛停止的時(shí)候，采樣會(huì)產(chǎn)生大量重復(fù)的幀，造成之前的路面信息丟失，導(dǎo)致算力浪費(fèi)，而且感知范圍會(huì)變小。黑芝麻智能的做法是增加了空間上的抽樣，即根據(jù)車身信息，每隔一定的距離做抽樣，然后把空間抽樣和時(shí)間抽樣結(jié)合起來(lái)，作為最后的目標(biāo)檢測(cè)。通過(guò)這種方式，車輛在緩慢行駛甚至停止的情況下，仍然能夠保證有較大的感知范圍。

車道是高度規(guī)則化的結(jié)構(gòu)，黑芝麻智能設(shè)計(jì)了用低維編碼的方法來(lái)引入車道線的結(jié)構(gòu)信息，學(xué)習(xí)并保存多種車道結(jié)構(gòu)的碼本（Codebook），并在學(xué)習(xí)到的碼本指導(dǎo)下進(jìn)行預(yù)測(cè)。

在車輛周圍實(shí)時(shí)生成地圖對(duì)自動(dòng)駕駛非常關(guān)鍵。但是，地圖通常包含很多種類的元素，比如車道線、人行道、停車位等，這給網(wǎng)絡(luò)實(shí)時(shí)預(yù)測(cè)周圍地圖帶來(lái)了困難。黑芝麻智能采用矢量的方法作為統(tǒng)一的表達(dá)方式，開發(fā)了可微分的“BST-Renderer”，將各種地圖元素渲染成圖像，然后對(duì)渲染出的圖像進(jìn)行訓(xùn)練。用一致的矢量表示，的好處就是說(shuō)，為后期的矢量地圖構(gòu)建提供了便利。

在提到OCCUPANCY GRID時(shí)，王祚官表示，一個(gè)空間是否被占據(jù)，表示方法是把它離散化成等大小的立方體，用一個(gè)參數(shù)來(lái)表示這個(gè)立方體被占據(jù)的概率是多少。傳統(tǒng)的典型做法是使用LiDAR信號(hào)，但會(huì)出現(xiàn)信號(hào)缺失或被遮擋的問(wèn)題。黑芝麻智能設(shè)計(jì)了“NeRF + LiDAR”的方案，與僅使用 LiDAR相比，可端到端訓(xùn)練，充分結(jié)合圖像信息和LiDAR信息，對(duì)被遮擋區(qū)域依然可以進(jìn)行場(chǎng)景流監(jiān)督，可使用無(wú)LiDAR數(shù)據(jù)集進(jìn)行模型微調(diào)。

此外，BEV模型里面使用了很多Transformer模型，鑒于Transformer注意力機(jī)制的計(jì)算成本較高，黑芝麻智能簡(jiǎn)化了計(jì)算，使其適合在邊緣設(shè)備上運(yùn)行。

自研高性能芯片為BEV模型落地提供支持

黑芝麻智能已將開發(fā)的BEV模型部署到旗下華山二號(hào)A1000芯片上。A1000芯片擁有58TOPS（INT8）的強(qiáng)大算力，有矩陣運(yùn)行單元和非線性運(yùn)算單元，再加上DSP，能夠滿足行業(yè)需求。與此同時(shí)，BEV模型還可部署在黑芝麻智能最新發(fā)布的武當(dāng)系列C1200芯片上。該系列是業(yè)內(nèi)首個(gè)智能汽車跨域計(jì)算芯片平臺(tái)。

作為中國(guó)本土智能汽車芯片的供應(yīng)商之一，黑芝麻智能擁有全棧感知算法量產(chǎn)化能力，能夠提供客戶算法定制服務(wù)，支持第三方算法移植，多種算法交付方式等靈活的商業(yè)模式。這些感知算法能夠加速并且助力一些中短期內(nèi)智能領(lǐng)航和泊車應(yīng)用產(chǎn)品快速落地，從而加速整個(gè)芯片的量產(chǎn)及應(yīng)用。