特斯拉AI主管解釋為何不用激光雷達(dá)：我們有超算和深度學(xué)習(xí)

從當(dāng)下各大汽車OEM在新車上采用的自動(dòng)/輔助駕駛方案來(lái)看，不少用到了英偉達(dá)、Mobileye或是地平線的高性能芯片，也有用到Lumina、Velodyne或覽沃的激光雷達(dá)。但歸根結(jié)底這些都是機(jī)器視覺(jué)加上先進(jìn)傳感器的方案，而特斯拉卻一直堅(jiān)持采用攝像頭的純視覺(jué)方案，成了諸多車廠中的一個(gè)“異類”。

在上月舉辦的機(jī)器視覺(jué)和模式識(shí)別國(guó)際會(huì)議（CVPR 2021）上，特斯拉AI主管Andrej Karpathy解釋了為何特斯拉用不到激光雷達(dá)。Andrej Karpathy畢業(yè)于斯坦福大學(xué)，也是AI大神李飛飛的得意門(mén)生之一，他在畢業(yè)后成了OpenAI的一位研究員，隨后被埃隆·馬斯克親自挖去特斯拉做AI主管。

低成本、易維護(hù)且方便更新的純視覺(jué)系統(tǒng)

深度神經(jīng)網(wǎng)絡(luò)是自動(dòng)駕駛技術(shù)的主要技術(shù)之一，通過(guò)處理車載攝像頭傳輸?shù)臄?shù)據(jù)來(lái)分析道路、標(biāo)志、汽車、障礙和行人。但深度學(xué)習(xí)在圖像中檢測(cè)物體往往會(huì)出現(xiàn)失誤，因此多數(shù)自動(dòng)駕駛公司，比如Waymo等，都采用激光雷達(dá)來(lái)繪制車身周圍的3D地圖，補(bǔ)全神經(jīng)網(wǎng)絡(luò)缺失的信息。

然而Andrej提到，激光雷達(dá)在自動(dòng)駕駛上也有自己的難處，你必須用高成本的激光雷達(dá)預(yù)繪制環(huán)境，然后創(chuàng)建高分辨率地圖，將街道和交通燈聯(lián)系在一起，最后只能局限于這些地圖來(lái)駕駛。不過(guò)，繪制每個(gè)地點(diǎn)的精確地圖是相當(dāng)困難的，并不是路測(cè)車輛收集構(gòu)建好這些高分辨率地圖就完事了，還需要長(zhǎng)期的維持工作，很難保證這些基礎(chǔ)設(shè)備和數(shù)據(jù)的更新工作。

特斯拉并沒(méi)有采用激光雷達(dá)和高分辨率地圖結(jié)合的方案，Andrej稱“對(duì)特斯拉來(lái)說(shuō)，一切都是初次發(fā)生的，單單靠車身上的八個(gè)攝像頭”。經(jīng)過(guò)幾年的迭代，特斯拉的自動(dòng)駕駛工作絕大多數(shù)都是由攝像頭實(shí)現(xiàn)，以至于車身上其他的傳感器開(kāi)始“吃灰”。為此，特斯拉也在今年5月宣布，即日起北美制造的Model 3和Model Y也不再配備毫米波雷達(dá)，全面過(guò)渡到以攝像頭為主，輔以超聲波雷達(dá)的特斯拉視覺(jué)系統(tǒng)。

自動(dòng)標(biāo)注生成的數(shù)據(jù)集和高效的神經(jīng)網(wǎng)絡(luò)

在許多激光雷達(dá)和攝像頭的參數(shù)性能比較中，測(cè)距往往都是攝像頭的弱項(xiàng)。然而，人類本身也是用“眼鏡”這一純視覺(jué)方案來(lái)進(jìn)行距離和速度判斷的，那么人工神經(jīng)網(wǎng)絡(luò)能否做到這一點(diǎn)呢？Andrej稱在過(guò)去幾個(gè)月的研究工作中發(fā)現(xiàn)，這個(gè)問(wèn)題的答案是肯定的。

特斯拉的工作室為了創(chuàng)建這樣一個(gè)可以精確檢測(cè)物體距離、速度和加速度的深度學(xué)習(xí)系統(tǒng)，將這一挑戰(zhàn)視為監(jiān)督式學(xué)習(xí)的問(wèn)題。監(jiān)督式學(xué)習(xí)是機(jī)器學(xué)習(xí)中常用的一個(gè)方法，此處則被用于在標(biāo)注數(shù)據(jù)訓(xùn)練后，讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何檢測(cè)物體和它們的附加屬性。

而打造這樣一個(gè)系統(tǒng)，需要的是大量的視頻數(shù)據(jù)、清晰精確的標(biāo)準(zhǔn)數(shù)據(jù)和諸多極端情況組成的數(shù)據(jù)集。

特斯拉與其他具備數(shù)據(jù)采集能力的汽車品牌相比有著一個(gè)獨(dú)到的優(yōu)勢(shì)，那就是數(shù)量。有了百萬(wàn)輛配備攝像頭的汽車，特斯拉根本不愁數(shù)據(jù)量。

在雨雪等條件下依然能夠正常運(yùn)轉(zhuǎn)的自動(dòng)標(biāo)注 / 特斯拉

那么這種標(biāo)注是如何進(jìn)行的呢？一種可行方案是依靠數(shù)據(jù)標(biāo)注公司進(jìn)行手工標(biāo)注，但這樣做的話不僅耗時(shí)耗力，成本也不低。特斯拉的自動(dòng)標(biāo)注技術(shù)結(jié)合了神經(jīng)網(wǎng)絡(luò)、雷達(dá)數(shù)據(jù)和人類審查。由于這一數(shù)據(jù)集是離線標(biāo)注的，所以神經(jīng)網(wǎng)絡(luò)可以來(lái)回播放視頻，將預(yù)測(cè)與事實(shí)進(jìn)行比對(duì)，從而調(diào)整其參數(shù)，恰恰與實(shí)時(shí)運(yùn)行的測(cè)試時(shí)推理相反。

這種離線標(biāo)注還有一個(gè)好處，那就是特斯拉工程師得以實(shí)現(xiàn)無(wú)法部署在車上的密集運(yùn)算型物體檢測(cè)網(wǎng)絡(luò)，將其用于低延遲的實(shí)時(shí)應(yīng)用中去。而雷達(dá)的數(shù)據(jù)只是用于進(jìn)一步驗(yàn)證神經(jīng)網(wǎng)絡(luò)的推理，這個(gè)過(guò)程還可以讓人工介入，進(jìn)行一些判斷上的編輯、驗(yàn)證和調(diào)整工作。

為了實(shí)現(xiàn)更好的速度和加速度判斷，在打造這一數(shù)據(jù)集的過(guò)程中，特斯拉團(tuán)隊(duì)花了4個(gè)月時(shí)間開(kāi)發(fā)了221個(gè)觸發(fā)器來(lái)指出物體檢測(cè)系統(tǒng)上還需哪些調(diào)整，比如雷達(dá)與視覺(jué)對(duì)比不符、物體邊框抖動(dòng)、純靠主攝像頭進(jìn)行的檢測(cè)等等。這些觸發(fā)器部署在消費(fèi)車輛中，進(jìn)行了7輪靜默模式的運(yùn)轉(zhuǎn)，這些觸發(fā)器并不會(huì)對(duì)車輛下達(dá)任何指令，而輸出的數(shù)據(jù)會(huì)和雷達(dá)數(shù)據(jù)和駕駛員本身行為進(jìn)行比較。

最后生成的數(shù)據(jù)集中，特斯拉自動(dòng)駕駛團(tuán)隊(duì)已經(jīng)收集了1.5PB的數(shù)據(jù)，由100萬(wàn)個(gè)10秒視頻和60億物體標(biāo)注組成。

特斯拉自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)架構(gòu) / 特斯拉

為了充分利用這一數(shù)據(jù)集，特斯拉自動(dòng)駕駛團(tuán)隊(duì)打造了一個(gè)高效的循環(huán)神經(jīng)網(wǎng)絡(luò)。數(shù)據(jù)經(jīng)過(guò)多層次的網(wǎng)絡(luò)結(jié)構(gòu)，從而輸出多個(gè)參數(shù)。這種架構(gòu)為分布式分工創(chuàng)造了條件，當(dāng)前特斯拉有一個(gè)由20人左右組成的團(tuán)隊(duì)，他們正在全力訓(xùn)練這一神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)各自的模塊。

用來(lái)訓(xùn)練深度學(xué)習(xí)模型的超級(jí)計(jì)算機(jī)

為了處理如此龐大的工作量自然也需要強(qiáng)大的機(jī)器，特斯拉當(dāng)前有三臺(tái)用于自動(dòng)駕駛開(kāi)發(fā)的超算集群。其中最新的一臺(tái)包含720個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都由8張英偉達(dá)A100 80GB加速卡組成，等于一臺(tái)機(jī)器就內(nèi)置了5760個(gè)GPU。該機(jī)器的算力達(dá)到了驚人的1.8 EFLOPS，配備了10PB的頂級(jí)NVME存儲(chǔ)，速率達(dá)到1.6 TBps。

內(nèi)部超級(jí)計(jì)算機(jī) / 特斯拉

除此之外，為了保障自動(dòng)駕駛的流暢運(yùn)行，其自研的FSD自動(dòng)駕駛芯片也有著強(qiáng)悍的性能。特斯拉的優(yōu)勢(shì)在于其垂直集成的開(kāi)發(fā)，這意味著不論是其CPU、GPU還是NPU，都能最大限度地利用這一神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的視覺(jué)方案。

FSD自動(dòng)駕駛芯片 / 特斯拉

小結(jié)

目前特斯拉的FSD自動(dòng)駕駛系統(tǒng)已經(jīng)進(jìn)入了測(cè)試階段，已經(jīng)有2000余名的車主在使用這一技術(shù)。特斯拉也在繼續(xù)開(kāi)發(fā)這一系統(tǒng)，加入更多的駕駛功能。

NHTSA對(duì)4月27日前后生產(chǎn)的Model Y評(píng)級(jí) / NHTSA

不過(guò)，特斯拉拋棄毫米波雷達(dá)的做法也引來(lái)的一些是非，美國(guó)國(guó)家公路交通安全管理局（NHTSA）表示，取消毫米波雷達(dá)的Model 3和Model Y將失去具備部分先進(jìn)安全功能的標(biāo)簽。尚不清楚這未來(lái)經(jīng)過(guò)測(cè)試調(diào)研后，幾款車型會(huì)不會(huì)重新獲得這些認(rèn)證，不過(guò)可以肯定的是，特斯拉已經(jīng)打算在攝像頭為主的純視覺(jué)方案上堅(jiān)定不移地走下去了。