NVIDIA 支撐自動駕駛車端云端同步邁入高算力大模型時代

我國汽車產(chǎn)業(yè)發(fā)展迅速，汽車智能化大勢所趨，自動駕駛所需的算力需求高速增長。為了加速自動駕駛生態(tài)發(fā)展，阿里云自動駕駛加速器與行業(yè)領(lǐng)先的主機廠、投資機構(gòu)攜手，結(jié)合自身技術(shù)、產(chǎn)品、業(yè)務(wù)資源，為自動駕駛創(chuàng)新企業(yè)提供多項支持。

3 月 10-11 日，NVIDIA 開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬應(yīng)邀出席阿里云自動駕駛加速器第一次線下集結(jié)活動并發(fā)表主題演講《NVIDIA支撐自動駕駛車端云端同步邁入高算力大模型時代》，演講分享了自動駕駛領(lǐng)域 AI 的研發(fā)趨勢和解決方案。

NVIDIA 開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬

圖片來源：阿里云自動駕駛加速器

以下為演講內(nèi)容：

自動駕駛需要通過大量的傳感器獲取環(huán)境信息，然后對這些數(shù)據(jù)進行處理和分析，而加速計算可以提供更快的數(shù)據(jù)處理速度和更高的精度。加速計算不僅對自動駕駛行業(yè)十分關(guān)鍵，也在數(shù)據(jù)處理、互聯(lián)網(wǎng)和醫(yī)療等領(lǐng)域扮演著重要的角色，促進了這些行業(yè)的發(fā)展。

車端算力對于加速汽車智能化非常重要。作為自動駕駛鏈條的基礎(chǔ)，車上的大算力芯片和解決方案是必不可少的。NVIDIA DRIVE 平臺是全球最常用的自動駕駛平臺之一，提供各種芯片和解決方案，包括車端、數(shù)據(jù)中心和仿真解決方案。

安全是開發(fā)自動駕駛的第一要務(wù)，更大的算力可以提高安全性。NVIDIA 在 2022 年秋季 GTC 宣布的 NVIDIA DRIVE Thor SoC 車規(guī)級系統(tǒng)芯片，可實現(xiàn)最高 2000 TOPS AI 算力以及 2000 TFLOPS 浮點算力，可以在單個計算平臺整合全車的智駕和座艙功能，為未來的算法和應(yīng)用發(fā)展預(yù)留足夠空間。

應(yīng)用和算力需要相互匹配，并且算力的發(fā)展需要一定的超前性以留給算法和應(yīng)用發(fā)展足夠的空間。近年來，BEV 和 Transformer 在深度學(xué)習(xí)領(lǐng)域取得了出色的效果，并帶來了很大的效率提升。但同時也對計算量提出了更高的要求，因此出現(xiàn)了一些革命性的技術(shù)。

例如 Transformer Engine 和專門做 Transformer block 計算的技術(shù)等。除了 BEV 和 Transformer，NVIDIA 也針對各種其它模型，與云服務(wù)合作伙伴在云端進行訓(xùn)練和預(yù)測加速。對于現(xiàn)代加速的集群，其運行應(yīng)用類別非常多，包括仿真、AI、scientific AI、數(shù)字孿生、量子計算等等，而這些應(yīng)用都是典型的加速計算集群的應(yīng)用。

當(dāng)前，硬件性能提升放緩，每年只有 1.1 倍左右，五年期望的 10 倍提升實際只有 2 倍，十年期望的100倍提升只有 4 倍。此時，如果使用加速計算，每年保持 1.6 倍的提速，將為工作負(fù)載提供充足算力，成為應(yīng)對性能瓶頸的重要解決方案。同時，也需要注意到成本問題，包括單個晶體管價格逐年增加、能源消耗、機房建設(shè)、供電等問題，因此需要更多的加速計算來降低成本和提高效率。

在自動駕駛領(lǐng)域，NVIDIA 能夠提供豐富的工具和解決方案，幫助用戶完成AI模型端到端的流程。對于數(shù)據(jù)預(yù)處理，NVIDIA 可以提供結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理工具，還可以進行圖像處理，確保訓(xùn)練和預(yù)測的一致性。在訓(xùn)練方面，NVIDIA 可以提供不同的框架，同時也會關(guān)注模型的推理。在云端部署時，NVIDIA 提供大規(guī)模部署的工具。

NVIDIA 相信未來 10 年內(nèi)，所有計算任務(wù)都將被加速，而 NVIDIA 已經(jīng)為此做好了準(zhǔn)備。加速計算的特點和意義在于，可以提高工作效率、降低成本、提升用戶體驗，同時也推動產(chǎn)業(yè)信息化融合的發(fā)展。這些特點和意義決定了 NVIDIA 的工作方式，即與客戶和合作伙伴深度合作，根據(jù)客戶需求設(shè)計出最適合的解決方案，共同進步。

加速計算的特點總結(jié)如下：

• 性能數(shù)量級上的提升：加速計算可以使模型性能有數(shù)十倍甚至上百倍的提升。

• 應(yīng)用特異性：上層應(yīng)用需要根據(jù)具體業(yè)務(wù)場景進行優(yōu)化，沒有一勞永逸的方法。

• 找出瓶頸：需要從應(yīng)用自上而下尋找性能瓶頸，然后加速這些瓶頸，以達到整體性能的提升。

• 端到端的優(yōu)化：AI 加速器算法的核心是優(yōu)化，端到端的優(yōu)化需要軟件協(xié)同設(shè)計，需要業(yè)務(wù)、算法、工程人員和優(yōu)化工程師共同配合。

自動駕駛軟件產(chǎn)品研發(fā)特點如下三點：

• 第一，自動駕駛的端到端開發(fā)需要加速數(shù)據(jù)模型的流轉(zhuǎn)，并讓數(shù)據(jù)信息充分利用。例如在車端采集數(shù)據(jù)，需要對這些數(shù)據(jù)進行高效的利用，在云端進行自動打標(biāo)或者模型訓(xùn)練、數(shù)據(jù)推理等過程，讓數(shù)據(jù)從采集到被利用整個過程盡可能快。

• 第二，云端的訓(xùn)練、預(yù)測，車端的驗證和部署需要保持模型和數(shù)據(jù)的對齊。不同的訓(xùn)練框架、預(yù)處理庫和數(shù)據(jù)處理方式會導(dǎo)致模型和數(shù)據(jù)不對齊，因此需要將整個過程自動化起來并做到統(tǒng)一管理。

• 第三，如果車端和云端的算力出現(xiàn)問題時，需要設(shè)計更多創(chuàng)新性的大模型來解決實際的問題。

在云上，自動駕駛應(yīng)用需要處理大量數(shù)據(jù)的采集、管理和篩選，數(shù)據(jù)管理包括人工和自動打標(biāo)，還需進行模型訓(xùn)練和 REPLAY 驗證。如果采集車數(shù)量夠多，數(shù)據(jù)采集的長尾效應(yīng)可以減少單輛車的數(shù)據(jù)量，但考慮到量產(chǎn)車的數(shù)量，數(shù)據(jù)處理必須更智能、高效。這已然成為自動駕駛企業(yè)的共識，而 NVIDIA 也將與云服務(wù)合作伙伴，結(jié)合在其他行業(yè)卓有成效的經(jīng)驗和成果，幫助企業(yè)落地相關(guān)能力。

總的來說，AI 加速計算可以大幅提升自動駕駛應(yīng)用的性能，但對于不同的應(yīng)用場景需要采用特定的方法進行優(yōu)化。例如在視覺計算領(lǐng)域，Swin-transformer 模型在自駕行業(yè)有很好的應(yīng)用場景，并且訓(xùn)練吞吐可以提高 2.3 倍，從而降低訓(xùn)練時間，提高模型驗證和上線速度。

另外，CV-CUDA 開源庫是一個通用的高性能圖像處理加速庫，適用于不同行業(yè)的 AI 成像前后處理，目前已經(jīng)被短視頻行業(yè)、自動駕駛行業(yè)和地圖行業(yè)等多個領(lǐng)域廣泛采用。僅就前處理而言，就可以減少訓(xùn)練和預(yù)測中調(diào)試工作量，提升模型對齊效果，提升工作效率。

加速計算需要軟硬協(xié)同設(shè)計，僅依靠單一優(yōu)化手段，很難達到效果，需要盡可能自上而下得去加速更多環(huán)節(jié)。AI 的核心是加速，而加速的核心是優(yōu)化，這需要算法和優(yōu)化工程師配合完成。

在自動駕駛領(lǐng)域，NVIDIA 將與云服務(wù)合作伙伴，依托其他領(lǐng)域的成功經(jīng)驗和成果，為車企和自動駕駛企業(yè)，提供端到端的全棧式 AI 加速計算解決方案。

即刻點擊 “閱讀原文” 或掃描下方海報二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計算平臺如何推動人工智能、元宇宙、云技術(shù)和可持續(xù)計算的下一波浪潮。加入 GTC23，切勿錯過 AI 的決定性時刻！