英偉達發(fā)布視頻AI大模型論文，自動駕駛是其潛在應用領域

電子發(fā)燒友網報道（文/李彎彎）近日，英偉達與慕尼黑大學等院校的研究人員聯合發(fā)布了一篇有關視頻潛在擴散模型（VideoLDM，Latent Diffusion Model）的論文，該模型能夠將文本轉換成視頻，實現高分辨率的長視頻合成。

研究人員指出，該模型其中一大具有潛力的應用領域，是駕駛數據的高分辨率視頻合成，能夠模擬特定駕駛場景，在自動駕駛領域中具有巨大的應用潛力。

AI大模型在自動駕駛領域的應用探索

當下，文字大模型、文生圖大模型發(fā)展迅速，受限于視頻訓練數據的計算成本高昂以及缺乏大規(guī)模公開可用的數據集等原因，視頻大模型的發(fā)展相對較慢。VideoLDM則成功解決了這個關鍵問題。

從原理上來分析，VideoLDM基于圖像數據集預訓練，并在此基礎上加入時間維度以形成視頻框架，最后在編碼的視頻序列上進行微調，得到視頻生成器。

目前，VideoLDM生成視頻的最高分辨率可達2048×1280、24幀。在論文中，該研究團隊給出了幾個駕駛場景視頻的生成案例：



在自動駕駛領域，AI大模型被認為能夠賦能感知標注、決策推理等環(huán)節(jié)。今年4月11日，毫末智行了一款自動駕駛生成式大模型DriveGPT，中文名雪湖·海若。據介紹，毫末DriveGPT雪湖·海若現階段主要用于解決自動駕駛的認知決策問題。

DriveGPT雪湖·海若的底層模型采用GPT（Generative Pre-trained Transformer）生成式預訓練大模型，與ChatGPT使用自然語言進行輸入與輸出有所不同，DriveGPT輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列，即將自動駕駛場景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預測以及決策邏輯鏈的輸出等任務。

毫末表示，DriveGPT雪湖·海若首發(fā)車型新摩卡DHT-PHEV，即將量產上市。DriveGPT雪湖·海若可以逐步應用到城市NOH、捷徑推薦、智能陪練以及脫困場景中。

汽車是AI大模型一大重要應用場景

隨著眾多AI大模型的發(fā)展，其商業(yè)應用場景也引起諸多思考，其中汽車被認為是其中一大重要的應用場景。最近，百度、阿里、商湯發(fā)布AI大模型，都在汽車智能方面展示出能力。

3月16日，百度正式發(fā)布文心一言，在發(fā)布會上，李彥宏展示了文心一言在文學創(chuàng)作、商業(yè)文案創(chuàng)作、數理推算、中文理解、多模態(tài)生成五個使用場景中的綜合能力。

其中在多模態(tài)生成方面，文心一言展示出了文本、圖片、音頻和視頻的生成能力。李彥宏表示，多模態(tài)是生成式AI一個明確的發(fā)展趨勢。未來，隨著百度多模態(tài)統一大模型的能力增強，文心一言的多模態(tài)生成能力會不斷提升。

文心一言發(fā)布之后，長安汽車官宣，旗下逸達將成為國內首款搭載文心一言的量產車型，后續(xù)將通過軟件升級的形式搭載到新車上。除了長安汽車外，集度、吉利、嵐圖、紅旗、長城、東風日產、愛馳、零跑、海馬等多家車企都已確認將內測體驗并接入其相關能力，與百度共同打造針對汽車智能場景的大模型人工智能交互體驗。

4月11日，阿里也正式發(fā)布其AI大模型通義千問。與文心一言、ChatGPT類似，作為大語言模型，通義千問支持多輪交互及復雜指令理解、多模態(tài)融合以及外部增強API，能夠實現多輪對話、文案創(chuàng)作、邏輯推理、多模態(tài)理解、多語言支持等功能。

在近日第二十屆上海國際汽車工業(yè)展覽會上，阿里集團副總裁、斑馬智行CEO張春暉談到，汽車是大模型最大的交互應用場景，智能汽車操作系統將會被重塑。他表示，AliOS智能汽車操作系統已接入通義千問大模型進行測試，相關技術會率先在智己汽車上落地。

商湯科技推出的“日日新SenseNova”大模型體系，含中文語言大模型應用平臺“商量SenseChat”、圖片生成模型“秒畫SenseMirage”、AI數字人視頻生成平臺“如影SenseAvatar”、3D內容生成平臺“瓊宇SenseSpace”和“格物SenseThings”等，

在此次展會上，商湯科技展示了其大模型在車艙智能化方面的實力，商湯語言大模型“商量SenseChat”會與嘉賓交流互動，并推薦個性化體驗內容。商量SenseChat還支持郵件模式，會自動提煉郵件關鍵信息，幫助用戶節(jié)省閱讀時間?！懊氘婼enseMirage”文生圖創(chuàng)作平臺亦首次與展示艙結合，借助商湯AIGC模型能力自動為嘉賓生成各種風格的照片。

在“日日新SenseNova”大模型體系的支持，其自動駕駛產品方案也獲得持續(xù)創(chuàng)新的能力。商湯絕影率先實現BEV感知在國內首批量產落地，還首創(chuàng)自動駕駛GOP感知體系，充分提升數據利用效率，引領感知技術突破。

商湯絕影的自動駕駛GOP感知體系可將目標數據獲取的人力成本降低94%，目前已投入量產。憑借通用視覺模型，絕影有效實現了對超過3000種物體目標的高精度識別，降低智能駕駛系統對激光雷達和高精度地圖的依賴。

小結

今年以來，AI大模型的發(fā)展如火如荼，國內外眾多科技企業(yè)紛紛入局。隨著各種AI大模型陸續(xù)發(fā)布，其商業(yè)應用場景也引起業(yè)界關注，而汽車被認為是其中一大重要的應用場景。

從目前的情況來看，百度、阿里發(fā)布的AI大模型已經在推進汽車領域的應用。不過當前主要還是在智能座艙方面，用于人工智能交流對話等領域，在自動駕駛方面的應用少有提及。估計原因在于，雖然其AI大模型都具有視頻生成能力，但這方面的能力還有待升級。就如李彥宏在發(fā)布會上就提到，視頻生成能力方面，因為成本較高，現階段還未對所有用戶開放，當然未來會逐步接入。

可以看到，AI大模型在汽車的智能座艙、自動駕駛等領域都將有所作為，業(yè)界也正在推進AI大模型加速上車，預計在智能座艙方面會率先落地，而在自動駕駛方面還需要在視頻能力方面有更多突破。而英偉達此次發(fā)布視頻模型論文，可能會起到一定的引領作用。