自動駕駛中使用激光雷達的必要性

近日，洛微科技聯(lián)合創(chuàng)始人兼CTO孫笑晨博士受邀參加2022年激光雷達前瞻技術交流會（4th LiDAR Tech 2022）并發(fā)表了《硅光FMCW 4D LiDAR—從芯片化到產(chǎn)品化》主題演講。作為行業(yè)內(nèi)備受矚目的激光雷達技術盛會，孫笑晨博士同來自全球的400多位行業(yè)專家學者圍繞LiDAR技術與市場等熱點話題展開深入討論，共同為激光雷達前瞻市場構建全景式藍圖。

孫笑晨博士簡要回顧了一下洛微科技的發(fā)展歷程，又從安全性、成本和商業(yè)三個維度講述了自動駕駛中使用激光雷達的必要性，同時指出FMCW作為單光子探測技術，可以匹敵甚至超越TOF激光雷達的性能。

以下為演講的主要內(nèi)容：

非常感謝大家來到LiDAR Tech論壇，今天我演講的主題是《硅光FMCW 4D LiDAR—從芯片化到產(chǎn)品化》。

自動駕駛趨勢總體向上

自動駕駛是人類近百年來的一個夢想，但人類真正開始認真做這個事情是從2004年DARPA挑戰(zhàn)賽開始的，DARPA Grand Challenge涌現(xiàn)了很多技術人才和技術方案，這些技術人才在后期建立了許多自動駕駛初創(chuàng)公司，其中最出名的就是Waymo，帶動了自動駕駛創(chuàng)業(yè)和資本的熱潮。再后來隨著特斯拉FSD推出和商業(yè)卡車L4應用的進展，以及OEM逐步進入L2+階段，似乎我們已經(jīng)感受到自動駕駛離我們很近了，當然這個期間也時常伴隨著各種事故和各種反對的聲音。自動駕駛行業(yè)未來還是會起起伏伏，但總體趨勢還是會向上發(fā)展。

特斯拉也同樣需要像LiDAR一樣的深度、速度數(shù)據(jù)

在這個向上發(fā)展的過程中，激光雷達的深度和速度信息能夠帶給自動駕駛方案哪些幫助，其實從特斯拉的自動駕駛演進過程可以初見端倪。 2019年特斯拉第一次擺脫了Mobileye的方案，開始開拓FSD硬件和軟件系統(tǒng)，這個時候采用的方法還是基于圖像的感知算法，同時他們也采用毫米波雷達以及人工標注的監(jiān)督機器學習對深度數(shù)據(jù)進行計算。 2021年的AI Day，特斯拉展示了從基于圖像轉變?yōu)榛?a href="http://ttokpm.com/v/" target="_blank">視頻的機器學習算法，同時融合整車12個攝像頭，建立我們現(xiàn)在很熟悉的BEV vector space，并用transformer替代CNN做feature extraction，也同時來獲得深度和速度信息。此時的深度信息看起來已經(jīng)比較精確了，但是速度還有瑕疵。 2022年的AI Day，特斯拉延續(xù)了基于視頻流感知的框架，但引入了occupancy network概念，實際上也建立了一個重建三維環(huán)境的vector space，增加了豎直方向的重建，這有點像普通毫米波雷達過渡到4D毫米波雷達。這里他們其實是用了自己的offline的AI超算cluster，將各個角度的攝像頭數(shù)據(jù)通過三角定位進行3D建模，作為ground truth訓練神經(jīng)網(wǎng)絡，推理一個相對準確的深度和速度重構。

經(jīng)過4年的發(fā)展，我們可以看到特斯拉在感知方面的目標越來越接近利用激光雷達給出的深度和速度重建，這意味著深度場和速度場確實是必需的，只不過特斯拉希望只用攝像頭實現(xiàn)。

如何看待感知方案的成本問題？

特斯拉這么做主要原因還是”第一性原理思考“，相關的主要是兩個方面，一個是仿生的概念，用攝像頭和神經(jīng)網(wǎng)絡復現(xiàn)人類用眼睛和大腦開車；另一個是成本，馬斯克提到過看產(chǎn)品的價格就看原材料就可以了。這聽起來非常有道理，但如果細細分析下來，發(fā)現(xiàn)事情并沒有這么簡單。 在2011年一個Podcast和2022年AI Day上馬斯克都提到過自家的攝像頭數(shù)據(jù)處理使用raw photon count，這個基本上就是專業(yè)單反相機里的照片的Raw儲存格式，是未經(jīng)壓縮處理的像素信號。特斯拉這樣做主要為了減少部分圖片處理的時延，并增加2-3 bit的數(shù)據(jù)量，提高信噪比。但嚴格說不是我們?nèi)搜鄣墓ぷ鞣绞健Ｊ褂贸阕龌谏窠?jīng)網(wǎng)絡的機器學習做視頻訓練，動輒是幾兆甚至十兆級的功耗，使用FSD系統(tǒng)做推理，也是幾百瓦的功耗，這跟人腦比也是數(shù)量級上的差異，說明基于的算法并不相同。所以仿生這個概念并不是很恰當。但特斯拉的這些技術方案我完全贊同，只是沒有必要披上仿生的噱頭，僅僅是基于攝像頭這個硬件系統(tǒng)做最大程度的方案優(yōu)化而已。 從成本上看，只使用攝像頭，材料上確實省了，但基礎設施和研發(fā)的費用呢？用海量視頻做訓練的結果是需要很大的訓練資源，現(xiàn)在已經(jīng)開始從使用巨大的GPU A100 cluster轉向基于定制自研7nm訓練芯片的Dojo超算，這些是數(shù)十億美元的研發(fā)投入，以至于在剛過去的AI Day上，馬斯克在被問及開發(fā)Dojo系統(tǒng)是否投入上合算時，表示有可能提供Dojo的對外服務租用。 因此，在我們看來，”第一性原理思考“是很好的一個方法論，但也不必過于神話，具體落實到技術方案，仍舊是在一個可接受的成本下做出最好的方案的過程。當然，這個可接受的成本每個公司的理念和戰(zhàn)略并不一樣，把有限的資源花在不同的地方，對應的方案也自然不同。

激光雷達的必要性

那激光雷達是否必須呢？我們認為還是必須的，這可以從三個方面考慮。第一，安全性。簡單地想，大概90%車禍是因為駕駛員誤操作或精力分散，其他一些則是人類精力集中也無法避免的。當自動駕駛的方案，比如特斯拉的方案，最終達到了人類的駕駛水平，便可以解決這90%的問題。但是剩下的10%就不解決了嗎？我們可能需要超越人類的駕駛水平去解決這些長尾問題，那也就不必糾結這是否為仿生的方案。配備激光雷達在環(huán)境感知方面提供了不同測試原理的冗余和提高了對假設安全性的保障。第二，成本。成本其實不能只看BOM成本，還有系統(tǒng)層面的成本，包括infrastructure、開發(fā)和訓練的成本，T2M時間成本，以及出現(xiàn)事故等賠償和商譽方面的成本等等，這些成本都需要綜合考慮。第三，商業(yè)模式。不同行業(yè)有不同的生態(tài)建設（Ecosystem），就算相同的行業(yè)也存在不同的生態(tài)，比如手機行業(yè)有蘋果生態(tài)和安卓生態(tài)，其實汽車行業(yè)也一定不會是非常一致的商業(yè)生態(tài)模式。所以目前絕大部分主機廠和方案商都選擇在高級輔助駕駛和自動駕駛中搭載激光雷達，是有著綜合和理智的考慮支撐的。

激光雷達探測技術的演進

那么接下來我來講一個激光雷達技術的演進，這次主要談及探測技術的演進。ToF的探測技術大致經(jīng)歷過3個階段，第一階段就最簡單的一個探測器PD，基本是一個萬光子以上的探測能力，這里和后面的分析都是指正常測試環(huán)境下，不做低溫等特殊處理，積分時間等參數(shù)也都在實用范圍；第二階段引入了APD，利用約100倍的Gain，經(jīng)過增益之后，可達到數(shù)百光子的探測能力；第三階段就是最近幾年開始商業(yè)化的SPAD單光子探測，利用數(shù)百上千次重復探測和histogram分析，達到十光子的量級的探測能力。與ToF相對應是今年來熱度很高的FMCW探測技術，其實有一點很多人可能并不了解，FMCW也是一種單光子探測技術，利用相干的原理，通過本振的信號為系統(tǒng)提供十萬級的放大，在實用參數(shù)下，也是十光子量級的探測能力。這方面后面會更詳細說明。

FMCW激光雷達能給我們帶來什么？

第一就是性能，F(xiàn)MCW作為一種單光子探測技術，可以匹敵甚至超越TOF的性能；第二就是成本，F(xiàn)MCW特別適合做硅光芯片化集成，硅光這個技術路線其實已經(jīng)在光通信領域驗證過了，已經(jīng)商業(yè)化并成功落地，并在部分光通信市場逐漸替代了傳統(tǒng)的InP方案，發(fā)揮他芯片化、集成化的天生優(yōu)勢；第三就是實時速度場和抗干擾能力的額外優(yōu)勢。

結合剛才的幾點我們展開一下， 第一個就是性能，也就是測距能力，可以用靈敏度來量化。我畫了個圖方便大家理解，橫軸是探測靈敏度，有百光子、十光子兩個量級，對應了測距能力?？v軸是達到這個靈敏度的探測時間，為什么要加這個維度呢？因為車載應用的激光雷達需要百萬級每秒的點頻，在合理幀率和FOV下來獲得足夠高密度的點云。對比來看，APD是最傳統(tǒng)的方案，探測靈敏度較低，但優(yōu)勢是計算速度快，原則上它可以用數(shù)個通道達到百萬級點頻的輸出，大部分方案是使用3-5通道輔以轉鏡獲得穩(wěn)定的點云。而SPAD的靈敏度很高，在考慮像素有限的探測概率下是十光子量級的探測能力，但需要通過數(shù)百上千次的重復測量做histogram來解決環(huán)境光干擾和其他串擾等問題，所以探測上會花更多的時間，差不多是在100微秒的量級，想達到百萬級的點頻就需要上百個通道同時工作，這也是為什么SPAD大面積陣列需要一行一行掃。而FMCW是中間的情況，有著類似SPAD的單光子探測能力，在實際情況下也是十光子左右的靈敏度，測試中數(shù)據(jù)采集時間一般是在十微秒量級，所以需要10個或更多的并行通道來完成需要的點頻。

第二個就是即時速度。有人會說ToF激光雷達使用兩幀測得的距離差，除以時間就能算出速度，為什么要特別強調(diào)速度這事呢。我們用實際數(shù)據(jù)跟大家分析一下。首先我們測一個比較接近勻速運動物體的距離隨時間變化，從左圖看上去這個距離線性度還是挺好的，但是用距離差計算速度，就是右圖藍線，就會看到噪聲很大，因為求導計算本質(zhì)是一個high pass filter，會增加噪聲。即使采用 3幀數(shù)據(jù)來平滑（綠線），可以看到仍是噪聲很大，此時如果采用一個正負0.3m/s的判斷依據(jù)做物體探測分割，結果會非常不穩(wěn)定。但是FMCW是使用多普勒效應，直接計算即時的徑向速度，典型數(shù)據(jù)如右下圖紫線，雖然仍是有一些噪聲，但都在正負0.3m/s范圍內(nèi)，這樣就可以做一個較好的物體探測和語義分割。 第三，抗干擾。我看到上個月預發(fā)表在arXiv上的一篇論文很有意思，使用一個獨立的激光器，經(jīng)過一些編碼對ToF激光雷達進行干擾，在某些情況下可以把行人等真實目標完全消除或判斷失誤，可能會造成嚴重的后果。而文中實驗了3個公司6個型號的ToF激光雷達，結果都是一致的。類似的這些危險情況在目前肯定不常見，但隨著今后路上的車越來越多，激光雷達互擾可能會變成一個非常非常大的問題。

為什么FMCW激光雷達比ToF具有更高的抗干擾能力呢？這里面有環(huán)境光干擾和激光雷達互擾兩個主要的問題，我們分別來說。上面是太陽光在地表的輻射光譜，從可見光到紅外。ToF方案大多使用900nm附近的波長，不管是采用VSCEL或者多模EEL激光器，其光信號的波長線寬一般在幾納米，考慮溫度變化和入射角度等影響，加過濾器的時候帶寬通常會比十納米還大一點，即在十納米之內(nèi)陽光會進入探測器，引起探測器噪聲甚至飽和，導致無效點云。從互擾的角度看，由于這些激光器波長誤差一般在正負幾個納米量級，帶寬在幾納米量級，兩個激光雷達的發(fā)射光很容易進入對方的接收側并造成干擾或者飽和。而FMCW方案中使用的激光器是窄線寬激光器，作為車載激光雷達，激光器的線寬一般在100kHz左右，即百萬分之一納米的光信號帶寬。由于是和同一個激光器發(fā)出的本地光做相干干涉，即只有嚴格在這個波長范圍內(nèi)光才可以輸出有效信號。對于陽光，只有百萬分之一納米的光譜部分進入系統(tǒng)，相比ToF具有百萬倍以上的抗日光能力。類似的對于互擾，由于線寬非常小，遠小于激光器波長誤差，成千上萬個激光器對射都很難有兩個有一模一樣的波長互擾。即使計算GHz量級調(diào)頻時對應波長變化，即百分之一納米量級，相比于ToF也至少是千倍以上的抗互擾能力。這些是FMCW一個非常大的優(yōu)勢。

那么怎么去做FMCW激光雷達系統(tǒng)呢？FMCW測距在遙感、測風等場景應用很多年了，那為什么FMCW擁有那么多優(yōu)勢還沒在車上應用呢。因為FMCW相比ToF是更復雜的系統(tǒng)，需要保證空間和時間的相干，還要處理偏振控制、干擾回波處理等等。使用傳統(tǒng)方案，即使只有一個通道，也要很多光電器件組合，并需要做精密的光學對準等工藝。事實上，可以使用現(xiàn)成的市場上買得到的傳統(tǒng)獨立組件，可以比較容易做出一個很好的FMCW系統(tǒng)（見上圖的的傳統(tǒng)方案部分）。甚至由于各個獨立器件都是獨立優(yōu)化的，還可以用光纖放大器和損耗非常低的自由空間光學組件，其系統(tǒng)性能比芯片集成的系統(tǒng)要更好。但這是個設備級的系統(tǒng)，不能真正上車使用。而且前面講過，由于FMCW測距時間需要十微秒量級，對于車載應用的點頻需求，需要使用更多的通道，每個通道重復上述這些工作，這其實一個非常龐大的系統(tǒng)，極難滿足車規(guī)級產(chǎn)品所需的良率、成本和可生產(chǎn)性。所以雖然一直能看到一些FMCW樣機，但遲遲沒有出現(xiàn)能真正適合車載使用的FMCW激光雷達產(chǎn)品。 我們認為，真正能上車的FMCW產(chǎn)品是一定要基于光子芯片集成的方式來做，才能解決上述的困難。當然光子集成的芯片也有較簡單的集成和更高密度的集成。對于前者，可以只將單通道的FMCW系統(tǒng)進行簡單芯片集成，之后加一個二維轉鏡進行掃描，形成點云，但前面的分析表明這個點頻對于車載的應用是遠遠不夠的，所以目前做這類方案的公司已經(jīng)基本放棄車載而轉向工業(yè)應用的方向。所以，我們認為一定需要多通道多天線陣列高度集成的FMCW芯片，才能實現(xiàn)車載所需的激光雷達指標。這個系統(tǒng)雖然看起來很復雜、芯片設計和制作也更困難，但是卻是最正確的選擇，也是我們認為唯一的選擇。

這里是洛微科技硅光FMCW芯片的原理示意圖，芯片里有多通道的平衡探測、大規(guī)模的固態(tài)掃描的天線陣列和復雜的switch網(wǎng)絡來控制發(fā)射和接收信號的分配，且可加入調(diào)頻、校準、自檢等功能，大規(guī)模去做平衡探測。目前激光器雖然還是外置，但是后續(xù)我們會做進一步集成。此外，未來還會將讀取和控制電路、甚至信號處理電路集成，變成一個純芯片化的高度集成的FMCW子系統(tǒng)，真正做到在車載應用中所長遠需要的成本、尺寸和可生產(chǎn)性。

●FMCW本身是一個單光子探測技術 前面提到FMCW也是一個單光子探測技術，即shot-noise dominated系統(tǒng)。這里看一下我們自己F1原型機的實測結果。上面這個圖是我們測得在不同的返回光子數(shù)下的探測概率。顯然在光子數(shù)量比較多的時候，探測概率接近1，行業(yè)內(nèi)通常把90%探測概率作為一個系統(tǒng)探測標準，我們把90%探測概率對應的頻譜圖給出來，對應差不多是二十幾個光子的信號，且可以看到比較良好的信噪比，并且我們認為噪聲有進一步優(yōu)化的空間。而如果看對應SPAD在10%左右的探測效率，是接近單光子的。實際上，F(xiàn)MCW系統(tǒng)也可以獲得類似SPAD的泊松分布的光子探測曲線，證明其單光子探測的本質(zhì)?；谶@樣的靈敏度，我們的FMCW樣機可以在一個很低的功率輸出下，探測到200米以上的目標，且可以看到有不錯的點云質(zhì)量。這是我們F1原型機的測試結果，明年我們將基于優(yōu)化的自研硅光芯片推出樣機，預計可以提高2倍以上探測距離，最遠測距可能達到400-500米，在低反射率情況下探測距離可以達到250米。 關于速度場和抗干擾的事情，前面的演講者也提到了很多具體的實例，這里我不做過多的展開了，僅給大家看下我們實測的數(shù)據(jù)。對于前者，可以看到這個點云視頻中，同向行走或行駛的不同速度目標物，雖然在深度場上距離是基本一致的，但我們可以明顯看到在速度場中的不同，這可以為物體識別和分割提供更多的方法。對于抗干擾，我們在測試中選了下午太陽正面斜照的場景，在這個情況下我們可以看到相機照到的圖片是嚴重過曝的，包括樓宇、車都會看不清楚，感知算法可能出現(xiàn)判斷失誤，但FMCW的點云是沒有任何噪點和影響的，具有非常強的抗干擾能力。 這里簡單講講洛微科技對于面向量產(chǎn)生產(chǎn)的一些思考。我們認為在產(chǎn)品的研發(fā)階段就考慮到的成本、可制造性和可靠性等問題，這遠比在研發(fā)樣機完成后，再修改方案試圖達到這些目標要容易和正確的多。對于激光雷達這樣一個光電系統(tǒng)來說，最大成本是芯片，所以需要一定的“第一性原理思考”，開始就要考慮芯片的材料、工藝和尺寸。是選擇硅材料，還是化合物材料，甚至全新的材料。是采用較通用的工藝，還是開發(fā)目前沒有的新工藝。我們采用硅光的技術，是使用了生態(tài)最大最好的硅材料和CMOS工藝體系，在這個體系中，工藝和尺寸就決定了一個芯片的價格，這是一個非常標準化的東西，所以我們很容易估算未來產(chǎn)品的成本組成，在什么量能做到什么價格。除了芯片之外，光學、結構也是越簡單越好，這個對成本、可靠性、可生產(chǎn)性都是結合到一塊，對于我們產(chǎn)品設計來說，就是整個系統(tǒng)越簡單越好，而系統(tǒng)的簡化需要芯片的集成度越高越好，而對于光電系統(tǒng)，只有硅光的平臺可以提供如此高和復雜的集成度，這就是我們方案選擇的基本邏輯。 當前，硅光芯片雖然在通信領域已經(jīng)獲得大量成功的應用，但畢竟還不是通用型的芯片，所以用硅光平臺開發(fā)一個激光雷達產(chǎn)品還是要有建立自研芯片的壁壘，具備一定垂直整合的能力，從芯片到光引擎模組到最終的整機產(chǎn)品。洛微科技的團隊具備15年以上的硅光芯片研發(fā)和產(chǎn)品化經(jīng)驗，以及全棧的光電產(chǎn)品開發(fā)經(jīng)驗積累，我們積累的大量的IP、Know-how和產(chǎn)品落地經(jīng)驗，這是洛微科技的核心競爭力。 最后是我們的產(chǎn)品的布局，洛微科技的產(chǎn)品主要分兩個系列，一個是純固態(tài)大視場近場激光雷達D系列，一般用以補盲和避障等；一個是硅光FMCW 4D激光雷達 F系列，其中F1是主打前向的主雷達。D系列有一款產(chǎn)品已經(jīng)量產(chǎn)，另外一款我們也在今年推出。F系列已有原型機在內(nèi)測，已經(jīng)給到一些戰(zhàn)略客戶作展示，明年會正式給客戶送樣。 ?

編輯：黃飛

?