無人駕駛定位與感知技術及應用案例

今天分享的內容，分為傳感器、定位技術、感知技術、商業(yè)化案例四個部分。

一

傳感器

這是整個無人駕駛系統(tǒng)的構成圖，底層是車輛，包括車、線控、驅動、制動、轉向等；上面是硬件控制部分，計算平臺、網絡、傳感器、線束等；再往上就是系統(tǒng)軟件層，包括操作系統(tǒng)、通信中間件等；再往上左邊這部分是定位、感知、預測、決策、規(guī)劃、控制等車端的模塊；右邊是一些其他的支撐模塊和基礎設施，包括仿真、安全、高精度地圖、V2X、HMI、Cloud等。安全是獨立的一部分，它會橫跨車端云端的各個環(huán)節(jié)。

舉例這一款無人車，我標記了一下，有四顆機械式Lidar，兩個Camera。還有毫米波雷達（包括四個角雷達加一個前向長距的毫米波雷達）。

這輛車沒有安裝超聲波雷達，但在其它的車可能會用。還有車內部安裝的傳感器，如輪速計、IMU。所有的傳感器數(shù)據(jù)可用于自車定位和環(huán)境感知，在規(guī)劃控制中也會用到輪速計信息。

在自動駕駛里比較糾結的就是成本和性能的矛盾，我們需要平衡它們。

左上角是Waymo的RoboTaxi，它的傳感器配置是比較昂貴的，激光雷達是他們自研的，據(jù)他們講成本控制得比較低。但真實的商業(yè)場景里面會有多方面的約束，包括成本、算力、功耗等。我們不可能用臺式機做計算，真到正式量產，我們只能使用嵌入式控制器， CPU和GPU的算力顯然會比臺式機有數(shù)量級或者幾倍的差距。功耗也是需要考慮的一個因素，車內供電是有限的，控制器耗電，傳感器本身耗電也比較高，比如Lidar裝的多也比較耗電。

還有天氣、光照等其他影響因素，使用場景也會有很多的變化。當然我們做得工作越多，可適用場景也就會越來越多。

下面是我們公司的幾種車輛，可以看到，我們車上所裝的傳感器大部分成本相對不高，因為客戶大部分對成本比較敏感。最右邊的車是，自主代客泊車，沒有安裝Lidar。

二

定位技術

定位技術包括輪速計、IMU、GPS RTK（在空曠的地方效果比較好）、Visual SLAM、Lidar SLAM、稀疏語義定位等。此外，還有一個Home Zone Parking的應用，也是采用Visual SLAM定位技術。

傳統(tǒng)的GPS精度差，通過RTK基站消除誤差，可以得到一個相對穩(wěn)定的高精度定位，可以到兩三厘米的高精度。

基于視覺特征的視覺SLAM，特征描述要滿足視角不變性、尺度變化的不變性、旋轉變化的不變性等，常用特征我列了幾個，如SIFT、SURF、FAST，其中FAST是比較快的，前兩者比較慢。

之前的SLAM框架更多使用一些傳統(tǒng)方法提取特征。深度學習從2014、2015年逐步熱起來，通常更多用于目標檢測，在定位方面也有較多應用。下面是2016年的一個論文，使用AlexNet的feature做place recognition。右邊是我們在園區(qū)里做的實驗，在不同的場景下，左邊是建圖的image，右邊就是定位的image，可以看出在不同時刻、季節(jié)變化、極端光線、霧霾天的各種情況下，深度學習方法比傳統(tǒng)方法有時候會拿到更好的結果。

我們后來又做了一些工作，也參考了一些其他研究，使用深度學習的方法去提升定位；首先輸入的圖像，通過Encoder，分出來兩個分支去做Decoder，一個是特征點的，另一個是描述子的。

我們的實驗結果看起來還是挺不錯的，它比傳統(tǒng)的ORB方案效果要明顯提升不少，匹配的點數(shù)增加了不少。我們測了很多的場景，平均下來定位的可用性有顯著提升。

第二個，它的跨光照能力比較強，低光照度的情況下優(yōu)勢比較明顯，跨季節(jié)能力也挺不錯。

很多的場景下會用到魚眼相機，傳統(tǒng)的方法就是去畸變，把它作為一個普通的圖像去處理，但是這種方法我們實驗以后發(fā)現(xiàn)效果并不是那么理想。后來我們做了一個工作，用五個立方體，構成一個Cubemap，再做SLAM，實驗結果也是挺不錯的。這個工作我們也用到了實際工程中。

下圖是車位檢測，也是很基本的，就是最簡單的魚眼俯視圖的拼接，車位檢測的目的是為了定位。

我們在一個地庫里面做的基于泊車位的定位，這是包括定位、規(guī)劃、控制在一起的一個閉環(huán)過程。

上圖是一個Home Zone Parking（也叫記憶泊車），它是一個VSLAM的應用，單目加里程計、加可選的IMU做SLAM的過程。這里的視頻中最后提示建圖成功了，定位的時候，當你開到上次建圖成功的路線，車就會自我定位，之后就進入無人駕駛。這是一個2C的產品，目前在和車企合作量產，用戶建一次圖，后面再開到該區(qū)域，車可以自主定位和導航，可以幫助用戶完成自主航渡和泊車，滿足最后幾百米無人駕駛的需求。

Lidar SLAM包括以下幾個子模塊：預處理、odometry、地圖匹配、閉環(huán)檢測、全局優(yōu)化、mapping等，實際使用中通常離線做三維重建和建圖，在線的時候做重內位/定位，這是一個基本的使用模式。

下圖是基于激光雷達的場景識別（即Place Recognition）。無人駕駛車輛一旦重定位成功后，后續(xù)在持續(xù)匹配的過程中不容易丟失定位。而初始重定位要保證幾乎總是成功和正確是比較挑戰(zhàn)的。因為場景非常多，而且有很多場景沒有GPS的，可能在室內或者天橋下面，信號被遮擋等，或者樹下面可能信號也很差。

在這些情況下，用視覺或者用激光雷達做初始定位就是非常重要的問題。這在學術界是比較熱的話題，工業(yè)界也會面對這樣的問題。我們必須要解決它，否則沒有辦法做到正確的、高可用的高精度定位。

我稍微再介紹一些比較挑戰(zhàn)的場景，不管對視覺還是Lidar來說，可能都會有挑戰(zhàn)。對于隧道場景來說，Lidar會更挑戰(zhàn)一點，因為在隧道里，可以用的特征很少。上面這個隧道可能有一公里，我們嘗試做建圖定位的時候，各方面建圖的效果都不太好。后來我們做了一些優(yōu)化，融合了IMU還有里程計以后，整個建圖、三維重建，包括后面的建圖定位都還不錯。

三

感知技術

這是障礙物感知的一個簡單框架圖，這只是一部分，像紅綠燈檢測也算是感知，我就沒有畫在這里面了。

我重點講障礙物和目標物的感知，輸入主要是image、Lidar的點云、毫米波雷達、超聲波雷達等的數(shù)據(jù)。輸入層我們可能會做一些Lidar、Camera的早期融合，也叫前融合。下面我們會有兩種算法模塊，一個是傳統(tǒng)算法，得到障礙物的信息，另一種就是基于深度學習的方法，得到目標物的信息。

整個模塊的輸出，一個是OGM占據(jù)柵格地圖，另一個是運動目標列表。整個框架大致就是這樣。實際上可能每個公司/研究機構的框架會有一些差異，一些不同的方法都值得探索。

上圖是基于視覺的可行駛區(qū)域識別，這是最基本的語義分割，需要識別出地面和停車位，其他的就是不可通行部分。

該圖是高速路上的語義分割加目標檢測的一個基本工作。

下面說一下點云和圖像的對比。圖像比較規(guī)則，而點云維度較高，也比較稀疏。點云在空間中不是一個矩陣式的排列，而是一個稀疏的、無序的點的集合，所以點云的處理相比于圖像還是有特殊的挑戰(zhàn)。

上圖是Lidar做的可行駛區(qū)域的分割，左邊是原始點云的示意圖，綠色的是地面，紅色的表示障礙物點；右上是一個2D的柵格圖，右下是在2D基礎上加一個高度形成2.5D。

激光雷達的目標檢測的算法，分成非深度學習的傳統(tǒng)算法，和深度學習算法。深度學習算法又分為Multi-View、Range Image、Point-base和Voxel-based等。

VoxelNet也是比較經典的網絡，先做劃分、Grouping、隨機采樣，最后構造Feature等。后續(xù)有一些不錯的研究工作，比較有代表性的有SECOND、PointPillar、PV RCNN，這里不展開講。

這是馭勢研發(fā)的一個最新的點云網絡方面的工作，基于注意力邊界的3D目標檢測模型。基本思想是由于點云看到的目標物邊界比較稠密，在Voxel的基礎上在邊界處增加注意力機制進行增強；在主分支做完后做refine，并結合了其他的改進，總體得到了一個很不錯的效果。在今年9月份，這個工作在KITTI 3D Object Detection上排名第一。

四

商業(yè)化案例

下面簡單介紹一下馭勢的商業(yè)化案例。我們現(xiàn)在商業(yè)化落地的重點在無人物流。我們和五菱、一汽等主機廠物流有長期合作，此外也包括一些化工廠、食品廠等，他們廠區(qū)內部有很多運貨的車每天不分晝夜在跑，這些工作都是可以被無人駕駛取代來發(fā)揮作用的。無人駕駛現(xiàn)在還不能在公開道路上實現(xiàn)“無安全員”商業(yè)運營。但馭勢科技目前可以實現(xiàn)在機場、廠區(qū)內“無安全員”。

機場無人物流

我們進入香港機場已經兩三年，目前每天都是若干輛車在常態(tài)化的無人駕駛運輸貨物。因為機場那邊要求全天候運行，在一些有挑戰(zhàn)的情況，比如大雨也需要正常運營。（播放視頻）這是現(xiàn)場錄制的無人駕駛拖車在雨中運行的情況。

廠區(qū)無人物流

廠區(qū)無人物流是我們另一個非常成功的案例，和上汽通用五菱的合作廠區(qū)物流是從2019年就開始做的，我們建成了國內首條無人駕駛的線路，目前達到了全球無人物流運行里程第一和無人物流車數(shù)量第一。在那邊的廠區(qū)中，我們在20多條路線上，100臺車7×24小時不間斷運作，共運行了20多萬公里的總里程。初期線路不是特別多，也有算法、軟硬件方面的一些小問題，但是隨著我們在運營過程中不斷的優(yōu)化和迭代，現(xiàn)在的問題數(shù)量已經下降了非常多，運營很穩(wěn)定。

RoboTaxi

RoboTaxi這邊，我們今年和東風合作的武漢項目。他們反復考察了多家企業(yè)，我們的技術得到了高度認可，成為他們的合作伙伴之一。

我們跟上汽大眾也在合作RoboTaxi項目，也持續(xù)合作好幾年了，上汽大眾非常認可我們的技術。

我們在測試RoboTaxi（播放視頻），這個場景跟剛才不太一樣，是在城鄉(xiāng)結合部，場景里交通狀況較為復雜。

最后這個是我們跟上汽通用五菱合作的自主代客泊車產品，無激光雷達，是去年到今年做的。

原文標題：馭勢科技：無人駕駛定位與感知技術及應用案例

文章出處：【微信公眾號：佐思汽車研究】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq