智源大會 | NVIDIA 科學(xué)家深度解析大語言模型訓(xùn)練和 3D 內(nèi)容創(chuàng)作最新成果

北京智源大會是北京智源研究院主辦的年度國際性人工智能高端學(xué)術(shù)交流活動。自 2019 年 10 月首次召開至今，有 8 位圖靈獎得主曾參與大會，每年有 200 位頂尖專家出席，來自 30 多個國家和地區(qū)的觀眾齊聚一堂。

今年的大會將于 6 月 9 日至 10 日在北京市海淀區(qū)中關(guān)村國家自主創(chuàng)新示范區(qū)展示中心召開，預(yù)計將有超過 3 萬名 AI 領(lǐng)域的專業(yè)人士在線上或線下參會，分享研究成果，學(xué)習前沿知識，交換實踐經(jīng)驗，建立聯(lián)系合作。

大語言模型和生成式 AI 代表了一個新的技術(shù)范式，推動著 AI 技術(shù)與各行各業(yè)的深度融合。

對于 3D 內(nèi)容創(chuàng)作領(lǐng)域，如何提升數(shù)字內(nèi)容生產(chǎn)力和生成效率，也成為其在大語言模型和生成式 AI 時代亟需思考的問題。

近幾年，NVIDIA 推出了一系列全棧式解決方案，以助力滿足大語言模型和生成式 AI 爆發(fā)式發(fā)展下的迅猛需求。在 3D 創(chuàng)作領(lǐng)域，從可逆渲染流程 NVIDIA 3D MoMa，到被美國《時代》周刊評為 2022 年度最佳發(fā)明的 NVIDIA Instant NeRF，以及近期在 CVPR 2023 發(fā)布的 NVIDIA Neuralangelo，NVIDIA Research 在 3D 視覺領(lǐng)域發(fā)布的一系列研究成果也受到廣泛關(guān)注。

對于 3D 內(nèi)容創(chuàng)作領(lǐng)域，基于這些大語言模型和生成式 AI 方面的研究進展和技術(shù)進步，不僅能夠提高設(shè)計的速度、準確性、以及建模的效率，創(chuàng)作方式本身也發(fā)生了變革。

在明日（6 月 9 日）即將舉辦的北京智源大會上，來自 NVIDIA 的多位專家也受邀參會發(fā)表演講，包括 NVIDIA 中國區(qū)工程和解決方案高級總監(jiān)賴俊杰，以及來自 NVIDIA 多倫多 AI 實驗室的三位研究科學(xué)家——NVIDIA 高級研究科學(xué)家 Karsten Kreis、NVIDIA 研究科學(xué)家高俊、NVIDIA 研究科學(xué)家 Huan Ling。

NVIDIA 中國區(qū)工程和解決方案高級總監(jiān)賴俊杰將深度解析 NVIDIA GPU 軟硬件結(jié)合的技術(shù)創(chuàng)新如何推動大模型技術(shù)的發(fā)展演進，介紹如何基于 NVIDIA Megatron 更高效地構(gòu)建大語言模型訓(xùn)練系統(tǒng)，在大模型時代提高模型開發(fā)效率和模型質(zhì)量。

來自 NVIDIA 多倫多 AI實驗室的研究科學(xué)家們將帶來兩場精彩的學(xué)術(shù)分享。隨著許多行業(yè)對創(chuàng)建大規(guī)模 3D 虛擬世界的需求不斷增加，對多樣化和高質(zhì)量的 3D 內(nèi)容有巨大的需求。他們將概述 NVIDIA 最近在機器學(xué)習和擴散模型方面的工作及其在圖像、視頻和 3D 內(nèi)容創(chuàng)建方面的應(yīng)用，以實現(xiàn)大規(guī)模的 3D 內(nèi)容創(chuàng)作，并將重點介紹在 3D 生成建模方面的不同努力，包括以對象為中心的 3D 合成以及全場景級生成。

AI 系統(tǒng)論壇

基于 NVIDIA Megatron 更高效地

構(gòu)建大語言模型訓(xùn)練系統(tǒng)

6 月 10 日上午 1045

暢春廳

大語言模型是當今最重要的先進技術(shù)之一，NVIDIA 開發(fā)的基于 PyTorch 的訓(xùn)練框架 - Megatron 與 NeMo Framework 的開創(chuàng)性技術(shù)，能夠提高訓(xùn)練速度且可擴展性強，使得大模型的訓(xùn)練和部署變得更加容易，具有更短的時間成本和更快的結(jié)果。

本議題將深度解析 NVIDIA GPU 軟硬件結(jié)合的技術(shù)創(chuàng)新如何推動大模型技術(shù)的發(fā)展演進，NVIDIA Megatron 框架的優(yōu)化方法，包括其高效的并行策略、內(nèi)存優(yōu)化技術(shù)等，以及如何利用該框架在大模型時代提高模型開發(fā)效率和模型質(zhì)量。

演講嘉賓

賴俊杰

NVIDIA 中國區(qū)工程和解決方案高級總監(jiān)

賴俊杰主要負責帶領(lǐng)團隊對接中國區(qū)核心大客戶的技術(shù)需求，以及開發(fā)相應(yīng)的行業(yè)解決方案，定制軟件產(chǎn)品等。賴博士本科和碩士就讀于清華大學(xué)電子工程系，并于法國國家計算機與自動化研究所獲得博士學(xué)位。博士期間的主要研究方向包括 GPU 架構(gòu)研究，及 GPU 性能分析模型。賴博士專注在高性能計算、并行計算、人工智能及互聯(lián)網(wǎng)行業(yè)應(yīng)用，在并行程序的性能分析及性能優(yōu)化領(lǐng)域有豐富的經(jīng)驗。

視覺與多模態(tài)大模型論壇

機器學(xué)習促進 3D 內(nèi)容創(chuàng)作

6 月 9 日下午 1450

靜宜廳

隨著許多行業(yè)對創(chuàng)建大規(guī)模 3D 虛擬世界的需求不斷增加，對多樣化和高質(zhì)量的 3D 內(nèi)容有巨大的需求。機器學(xué)習的存在使這一追求成為可能。本場演講將討論如何從結(jié)合可分化等值面和可分化渲染的角度出發(fā)，實現(xiàn)大規(guī)模的 3D 內(nèi)容創(chuàng)作，并對現(xiàn)實世界產(chǎn)生影響。

為此，研究中首先介紹了一種基于四面體網(wǎng)格的可微分三維表示法，以實現(xiàn)任意拓撲結(jié)構(gòu)的三維網(wǎng)格的高質(zhì)量恢復(fù)。通過結(jié)合可分化的渲染，研究者進一步設(shè)計了一個生成模型，能夠產(chǎn)生具有復(fù)雜紋理和材料的 3D 形狀，用于網(wǎng)格生成。研究中所用框架為從文本提示中利用二維擴散模型進行創(chuàng)新的高質(zhì)量三維網(wǎng)格創(chuàng)建鋪平了道路，這使新手的 3D 內(nèi)容創(chuàng)建更加大眾化。

演講嘉賓

高俊

NVIDIA 研究科學(xué)家

高俊是多倫多大學(xué)的博士生，由 Sanja Fidler 教授指導(dǎo)。他也是 NVIDIA 多倫多 AI 實驗室的一名研究科學(xué)家。他的研究興趣集中在 3D 計算機視覺和計算機圖形的交叉領(lǐng)域，特別是開發(fā)機器學(xué)習工具，以促進大規(guī)模的 3D 內(nèi)容創(chuàng)作并推動現(xiàn)實世界的應(yīng)用。他的許多貢獻已經(jīng)在產(chǎn)品中實現(xiàn)，包括 NVIDIA Picasso、GANVerse3D、Neural DriveSim 和 Toronto Annotation Suite。他將在 2023 年的 NeurIPS 上擔任領(lǐng)域主席。

借助擴散模型進行圖像、視頻

和 3D 內(nèi)容創(chuàng)作

6 月 9 日下午 15:35 - 16:20

靜宜廳

基于擴散的降噪生成模型激發(fā)了深度生成學(xué)習的多項突破。本場演講將概述 NVIDIA 最近在擴散模型方面的工作及其在圖像、視頻和 3D 內(nèi)容創(chuàng)建方面的應(yīng)用。演講將從對擴散模型的簡短介紹開始，討論大規(guī)模文本到圖像的生成，然后重點介紹在 3D 生成建模方面開展的多項工作，包括以對象為中心的 3D 合成以及全場景級生成。最后將討論的是 NVIDIA 最近在使用視頻潛在擴散模型生成高分辨率視頻方面的工作。研究者將最先進的文本到圖像模型 Stable Diffusion 轉(zhuǎn)變?yōu)楦叻直媛饰谋镜揭曨l生成器，還演示了真實野外駕駛場景視頻的模擬。

演講嘉賓

Karsten Kreis

NVIDIA 高級研究科學(xué)家

Karsten Kreis 是 NVIDIA 多倫多 AI 實驗室的高級研究科學(xué)家。在加入 NVIDIA 之前，他在 D-Wave Systems 從事深度生成建模工作，并與他人共同創(chuàng)立了 Variational AI，這是一家利用生成模型進行藥物發(fā)現(xiàn)的初創(chuàng)公司。在轉(zhuǎn)向深度學(xué)習之前，他在馬克斯-普朗克光科學(xué)研究所獲得了量子信息理論碩士學(xué)位，并在馬克斯-普朗克聚合物研究所獲得了計算和統(tǒng)計物理學(xué)博士學(xué)位。目前，Karsten 的研究重點是開發(fā)新的生成學(xué)習方法，主要是擴散模型，以及將深度生成模型應(yīng)用于計算機視覺、圖形和數(shù)字藝術(shù)以及自然科學(xué)等領(lǐng)域的問題。

Huan Ling

NVIDIA 研究科學(xué)家

Huan Ling 是 NVIDIA 多倫多人工智能實驗室的研究科學(xué)家，他是多倫多大學(xué) Sanja Fidler 教授的博士生，還是 Vector Institute 的研究員。他的研究重點是大規(guī)模生成模型以及將生成模型用于計算機視覺感知任務(wù)。他在 NVIDIA 的研究工作包括 DatasetGAN、EditGAN 和 Align your Latents: VideoLDM。

點擊“閱讀原文”即可報名現(xiàn)場參加各專題論壇或預(yù)約線上直播，快來參會吧！

掃描下方海報二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 COMPUTEX 2023 的主題演講直播回放，主題演講中文字幕版已上線，了解 AI、圖形及其他領(lǐng)域的最新進展！