佐思汽研發(fā)布《2024年端到端自動駕駛研究報告》。
1
國內(nèi)端到端方案現(xiàn)狀
端到端自動駕駛是直接從傳感器信息輸入(如攝像頭圖像、LiDAR等)到控制命令輸出(如轉(zhuǎn)向、加減速等)映射的一套系統(tǒng),最早出現(xiàn)在1988年的ALVINN項目,通過相機和激光測距儀進行輸入和一個簡單的神經(jīng)網(wǎng)絡(luò)生成的轉(zhuǎn)向進行輸出。
2024年初,特斯拉FSD V12.3版本發(fā)布,智駕水平讓人驚艷,端到端自動駕駛方案受到國內(nèi)主機廠和自動駕駛方案企業(yè)的廣泛關(guān)注。
與傳統(tǒng)的多模塊方案相比,端到端自動駕駛方案將感知、預(yù)測和規(guī)劃整合到單一模型中,簡化了方案結(jié)構(gòu),可模擬人類駕駛員直接從視覺輸入做出駕駛決策,以數(shù)據(jù)和算力為主導(dǎo),能夠有效解決模塊化方案的長尾場景,提升模型的訓(xùn)練效率和性能上限。
傳統(tǒng)多模塊方案與端到端方案的對比(部分)
來源:佐思汽研《2024年端到端自動駕駛研究報告》
FSD V12.3版本實測圖
來源:公開渠道
部分主機廠對端到端方案落地量產(chǎn)的規(guī)劃
來源:佐思汽研《2024年端到端自動駕駛研究報告》
理想端到端方案
理想認為,完整的端到端需要完成感知、跟蹤、預(yù)測、決策、規(guī)劃整個過程的模型化,是實現(xiàn)L3級別自動駕駛的最佳方案。2023年,理想推送AD Max3.0,其整體框架已經(jīng)具備端到端的理念,但距離完整的端到端尚有一定差距,2024年理想預(yù)計以此為基礎(chǔ),推進該系統(tǒng)成為一個徹底的端到端方案。
理想構(gòu)建的自動駕駛框架如下圖,分為兩個系統(tǒng):
快系統(tǒng):System1,感知周圍環(huán)境后直接執(zhí)行,為理想現(xiàn)行的端到端方案。
慢系統(tǒng):System2,多模態(tài)大語言模型,針對未知環(huán)境進行邏輯思考與探索,以解決L4未知場景下的問題。
理想自動駕駛框架
來源:理想汽車
在端到端方案推進的過程中,理想計劃把規(guī)劃/預(yù)測模型與感知模型進行統(tǒng)一,并在原基礎(chǔ)上完成Temporal Planner的端到端,實現(xiàn)泊車/行車一體化。
2
數(shù)據(jù)成為端到端落地的關(guān)鍵
端到端方案的落地需要經(jīng)歷構(gòu)建研發(fā)團隊、配置硬件設(shè)施、數(shù)據(jù)收集處理、算法訓(xùn)練與策略定制、驗證評估、推廣量產(chǎn)等流程,部分場景痛點如表中所示:
端到端方案的部分場景痛點
來源:佐思汽研《2024年端到端自動駕駛研究報告》
其中,端到端自動駕駛方案中的一體化訓(xùn)練需要大量的數(shù)據(jù),因此其面臨的難點之一在于數(shù)據(jù)的收集和處理。
首先,數(shù)據(jù)的收集需要大量的時間和渠道,數(shù)據(jù)類型除了駕駛數(shù)據(jù)外還包括各種不同的道路、天氣和交通情況等場景數(shù)據(jù),其中在實際駕駛中駕駛員前方視野的駕駛數(shù)據(jù)相對便于收集,周圍方位的信息收集則難以保證。
再次,數(shù)據(jù)處理時需要設(shè)計數(shù)據(jù)提取維度、從海量的視頻片段中提取有效的特征、統(tǒng)計數(shù)據(jù)分布等,以支持大規(guī)模的數(shù)據(jù)訓(xùn)練。
元戎啟行
截至2024年3月,元戎啟行端到端自動駕駛方案已經(jīng)獲得長城汽車的定點項目,并與英偉達開展合作,預(yù)計2025年適配英偉達Thor芯片;在元戎啟行的規(guī)劃中,從傳統(tǒng)方案過渡到“端到端”自動駕駛方案,經(jīng)歷傳感器前融合、去高精度地圖、感知決策控制三個模型一體化等環(huán)節(jié)。
元戎啟行在數(shù)據(jù)環(huán)節(jié)的布局
來源:佐思汽研《2024年端到端自動駕駛研究報告》
極佳科技
極佳科技的自動駕駛世界模型DriveDreamer,具備場景生成、數(shù)據(jù)生成、駕駛動作預(yù)測等功能;在場景/數(shù)據(jù)生成上,分為兩個步驟:
涉及單幀結(jié)構(gòu)化條件,引導(dǎo)DriveDreamer生成駕駛場景圖像,便于其理解結(jié)構(gòu)交通約束。
將其理解擴展到視頻生成。利用連續(xù)的交通結(jié)構(gòu)條件,DriveDreamer輸出駕駛場景視頻,進一步增強其對運動轉(zhuǎn)換的理解。
DriveDreamer的功能包括可連續(xù)駕駛視頻生成、與文本提示和結(jié)構(gòu)化交通限制無縫對齊
來源:極佳科技
3
端到端方案加快具身機器人落地
除了自動駕駛汽車,具身機器人是端到端方案另一個主流場景。從端到端自動駕駛到機器人,需要構(gòu)建更加通用的世界模型,來適應(yīng)更加復(fù)雜、多元的現(xiàn)實使用場景,主流AGI(通用人工智能)發(fā)展的框架分為兩個階段:
階段一:基礎(chǔ)大模型理解和生成實現(xiàn)統(tǒng)一,進一步與具身智能結(jié)合,形成統(tǒng)一世界模型;
階段二:世界模型+復(fù)雜任務(wù)的規(guī)控能力和抽象概念的歸納能力,逐步演化進入交互AGI 1.0時代。
在世界模型落地的過程中,構(gòu)建端到端的VLA(Vision-Language-Action) 自主系統(tǒng)成為關(guān)鍵一環(huán)。VLA作為具身智能基礎(chǔ)大模型,能夠?qū)?D感知、推理和行動無縫鏈接起來,形成一個生成式世界模型,并建立在基于3D的大型語言模型(LLM)之上,引入一組交互標(biāo)記以與環(huán)境進行互動。
3D-VLA解決方案
來源:University of Massachusetts Amherst、MIT-IBM Watson AI Lab等機構(gòu)
截至2024年4月,部分采用端到端方案的具身機器人廠商如下:
部分具身機器人如何應(yīng)用端到端方案
來源:佐思汽研《2024年端到端自動駕駛研究報告》
以有鹿機器人為例,其具身智能大模型LPLM(Large Physical Language Model)為端到端的具身智能解決方案,通過自我標(biāo)注機制提升模型從未標(biāo)注數(shù)據(jù)中的學(xué)習(xí)效率和質(zhì)量,從而加深對世界的理解,進而加強機器人的泛化能力與跨模態(tài)、跨場景、跨行業(yè)場景下的環(huán)境適應(yīng)性。
LPLM模型架構(gòu)
來源:有鹿機器人
LPLM 將物理世界抽象化,確保該類信息與 LLM 里特征的抽象等級對齊,將物理世界中每一個所指的實體顯式建模為 token,編碼幾何、語義、運動學(xué)與意圖信息。
此外,LPLM 在自然語言指令的編碼中加入了 3D grounding,一定程度上彌補了自然語言不夠精確的缺陷;其解碼器能夠通過不斷預(yù)測未來的方式去學(xué)習(xí),從而加強了模型從海量無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)的能力。
審核編輯:劉清
-
傳感器
+關(guān)注
關(guān)注
2541文章
49945瀏覽量
747443 -
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4717瀏覽量
99996 -
攝像頭
+關(guān)注
關(guān)注
59文章
4752瀏覽量
94383 -
英偉達
+關(guān)注
關(guān)注
22文章
3637瀏覽量
89830 -
自動駕駛
+關(guān)注
關(guān)注
781文章
13449瀏覽量
165254
原文標(biāo)題:端到端智駕研究:E2E自動駕駛發(fā)展現(xiàn)狀
文章出處:【微信號:zuosiqiche,微信公眾號:佐思汽車研究】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論