魔視智能虞正華：未來自動(dòng)駕駛的大模型一定不是純視覺的大模型

2023年7月8日，自動(dòng)駕駛新勢(shì)力Tier 1 魔視智能MOTOVIS創(chuàng)始人&CEO虞正華博士受邀參加「2023 WAIC大模型與智能駕駛創(chuàng)新高端閉門會(huì)」，與參會(huì)人員深度探討AI大模型在智能駕駛領(lǐng)域的關(guān)鍵應(yīng)用、技術(shù)挑戰(zhàn)、協(xié)同創(chuàng)新等時(shí)下熱點(diǎn)。

本場(chǎng)閉門會(huì)以“智能駕駛新征程——大模型賦能下的商業(yè)化機(jī)遇與挑戰(zhàn)”為題，由世界人工智能大會(huì)組委會(huì)辦公室、上海市張江科學(xué)城建設(shè)管理辦公室指導(dǎo)，上海張江（集團(tuán)）有限公司、機(jī)器之心聯(lián)合主辦，旨在助力產(chǎn)業(yè)鏈企業(yè)更好地把握大模型發(fā)展趨勢(shì)，推動(dòng)企業(yè)間的業(yè)務(wù)合作與交流，加速智能駕駛商業(yè)化進(jìn)程，為張江的「未來車生態(tài)」注入新的活力。

大模型在許多領(lǐng)域展示出了巨大的應(yīng)用潛力，但在智能駕駛領(lǐng)域至今還未展現(xiàn)出一個(gè)非常成功的智能駕駛大模型。智能駕駛作為一個(gè)充滿挑戰(zhàn)和機(jī)遇的領(lǐng)域，與大模型的結(jié)合將碰撞出怎樣的火花？

虞正華博士指出，目前確實(shí)有很多視覺大模型的嘗試，包括在圖像識(shí)別、實(shí)時(shí)目標(biāo)檢測(cè)和跟蹤方面以及圖像合成、圖像修復(fù)、圖像增強(qiáng)等應(yīng)用的進(jìn)展，但未來自動(dòng)駕駛的大模型一定不是純視覺的大模型，還需要綜合視覺、語言等多模態(tài)技術(shù)。

未來的端到端的自動(dòng)駕駛大模型，是否能將規(guī)劃閉環(huán)在內(nèi)還不確定，但是至少可以考慮將感知和預(yù)測(cè)放在一個(gè)端到端的模型中，將這個(gè)問題定義為一個(gè)泛感知問題，而這個(gè)模型的目標(biāo)就是感知外部的世界，包括現(xiàn)在的和未來的（預(yù)測(cè)的）目標(biāo)，為規(guī)劃提供基礎(chǔ)信息。

將語言大模型的“推理”能力跟視覺大模型的“感知”能力去結(jié)合，并進(jìn)一步演變下去，發(fā)展成為真正的智能駕駛大模型。這種結(jié)合大模型推理能力和環(huán)境感知能力的智能駕駛系統(tǒng)，能夠在實(shí)時(shí)感知、決策制定和控制執(zhí)行方面發(fā)揮重要作用。然而，實(shí)現(xiàn)自動(dòng)駕駛?cè)孕杈C合考慮多個(gè)因素，如硬件平臺(tái)、安全性、法律法規(guī)等。