GPU computing最新技術(shù)進(jìn)展

摘要：英偉達(dá)的顯卡對(duì)于游戲達(dá)人來說再為熟悉不過，并逐漸融入到我們的日常生活當(dāng)中。

英偉達(dá)的顯卡對(duì)于游戲達(dá)人來說再為熟悉不過，并逐漸融入到我們的日常生活當(dāng)中。近日，世界上第一款“光線追蹤”GPU“Quadro RTX GPU”的面世，更是被英偉達(dá)創(chuàng)始人兼CEO黃仁勛稱為“自CUDA以來，英偉達(dá)推出最重要的一塊GPU”。英偉達(dá)為了這塊顯卡，前后打磨了十年的時(shí)間。它的出現(xiàn)，將顛覆現(xiàn)有圖形渲染計(jì)算。

我們榮幸地邀請(qǐng)到了英偉達(dá)亞太區(qū)架構(gòu)主管趙立威先生，他圍繞著《GPU計(jì)算前沿技術(shù)進(jìn)展及其在AI領(lǐng)域的應(yīng)用》的話題，與20余位創(chuàng)業(yè)者進(jìn)行了深刻交流，人工智能領(lǐng)域的搬磚男女都趕緊看過來吧~

一、GPU computing最新技術(shù)進(jìn)展

趙立威：我非常有幸在過去的20多年間，經(jīng)歷了IT從起步到大熱的整個(gè)發(fā)展過程。20年前，我在IBM，那時(shí)候我自己都沒有一臺(tái)PC機(jī)，郵件都跑在mainframe上。我有一張軟盤，它相當(dāng)于我的密鑰，把軟盤插入辦公室的諸多電腦之一，我就能訪問我在主機(jī)上的郵件服務(wù)。這可以說是前PC時(shí)代。

過去這些年，計(jì)算形態(tài)從PC到移動(dòng)計(jì)算到云再到現(xiàn)在的人工智能。但事實(shí)上AI并不是這兩年才開始研究，幾十年前就已經(jīng)開始了。那么為什么現(xiàn)在人工智能這么火呢？它離不開三算的發(fā)展。何為三算？即算法，算力（計(jì)算力），算據(jù)（數(shù)據(jù)）。

圖源：http://news.ikanchai.com/2017/1204/179891.shtml

那么這三算是怎樣互相作用，然后驅(qū)動(dòng)人工智能從2012年一下子發(fā)展到現(xiàn)在的狀態(tài)呢？這里有一個(gè)小故事可以與大家分享。

大家可能都聽說過Alex Krizhevsky，他在博士期間設(shè)計(jì)了人類歷史上第一個(gè)真正意義上的深度神經(jīng)網(wǎng)絡(luò)AlexNet——一共是八個(gè)學(xué)習(xí)層，包含六千萬個(gè)參數(shù)。他的導(dǎo)師Hinton（被稱為“神經(jīng)網(wǎng)絡(luò)之父”）并不支持他將這個(gè)作為博士論文的研究方向，因?yàn)楫?dāng)時(shí)的計(jì)算都是基于CPU的計(jì)算方式，這樣的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練一次就要幾個(gè)月的時(shí)間；然后要手動(dòng)調(diào)參，再重新訓(xùn)練，這樣反復(fù)下來，想要得到一個(gè)靠譜的神經(jīng)網(wǎng)絡(luò)模型，大約需要幾十遍；運(yùn)氣好的時(shí)候十幾遍的訓(xùn)練次數(shù)，可能要花費(fèi)數(shù)十年的時(shí)間。但是Alex作為一個(gè)典型的Geek并不放棄，在學(xué)習(xí)數(shù)學(xué)之余他還學(xué)習(xí)了大量與編程相關(guān)的知識(shí)，其中就包括CUDA。

CUDA是NVIDIA創(chuàng)造的一個(gè)并行計(jì)算平臺(tái)和編程模型。它利用圖形處理器(GPU)能力，實(shí)現(xiàn)計(jì)算性能的顯著提高。NVIDIA是在2006年推出的CUDA，自那以后，股價(jià)從最初的7美元一路攀升到現(xiàn)在的260多美元。

Alex用CUDA重新對(duì)他的模型進(jìn)行編程，然后買了兩塊當(dāng)時(shí)非常強(qiáng)大的顯卡GTX580，花了6天時(shí)間訓(xùn)練AlexNet，并且不斷調(diào)優(yōu)和完善。后來參加了李飛飛主導(dǎo)的ImageNet大賽，并且獲得了當(dāng)年的冠軍。AlexNet當(dāng)時(shí)能夠達(dá)到的圖像識(shí)別精度，遙遙領(lǐng)先于第二名。大賽之后，Alex和他的導(dǎo)師Hinton成立了公司，這個(gè)公司幾個(gè)月以后被Google以4億美金收購。這是一個(gè)靠GPU創(chuàng)富的故事，可以看到，GPU與深度神經(jīng)網(wǎng)絡(luò)的第一次結(jié)合創(chuàng)造了4億美金的價(jià)值。

英偉達(dá)?精視?(NVIDIA? GeForce?) GTX 580

在這之后，我們經(jīng)歷了近似寒武紀(jì)時(shí)期的神經(jīng)網(wǎng)絡(luò)模型大爆發(fā)的時(shí)代。2012年之前，人們雖然一直在研究，但是沒有足夠的算力來支撐這些算法，但是新的計(jì)算方式GPU Computing的出現(xiàn)，支撐了同類型的神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；從而促成了各種模型的爆發(fā)式增長，進(jìn)而進(jìn)入到人工智能的時(shí)代。

如今，大家可以使用Caffe、TensorFlow、Theano等等開源的深度學(xué)習(xí)平臺(tái)來進(jìn)行實(shí)現(xiàn)自己的算法，也可以在CUDA上進(jìn)行編程。人工智能研究領(lǐng)域的頭部公司，他們現(xiàn)在推薦的算法模型已經(jīng)達(dá)到了相當(dāng)復(fù)雜的程度，一個(gè)模型可以達(dá)到1個(gè)T甚至幾個(gè)T的規(guī)模，包含幾十億甚至上百億個(gè)參數(shù)，數(shù)據(jù)量更是可想而知。這樣的模型訓(xùn)練起來難度就越發(fā)高。因此，三算就這樣糾纏在一起，互相促進(jìn)、互相提升。

大家都知道著名的摩爾定律，其內(nèi)容是當(dāng)價(jià)格不變時(shí)，集成電路上可容納的元器件的數(shù)目，約每隔18-24個(gè)月便會(huì)增加一倍，性能也將提升一倍。換言之，每一美元所能買到的電腦性能，將每隔18-24個(gè)月翻一倍以上。這一定律揭示了信息技術(shù)進(jìn)步的速度。但是根據(jù)OPEN AI的今年年初的測算，從AlexNet出現(xiàn)以后，到去年年底一共大概5年的時(shí)間，在人工智能模型的訓(xùn)練層面，我們對(duì)于計(jì)算力的需求提升了30萬倍。

我們都知道在摩爾定律的初期25年間，實(shí)現(xiàn)了性能5年10倍，25年10萬倍的提升。這是摩爾定律在CPU年代為我們帶來的計(jì)算力的提升。但是這對(duì)于人工智能模型對(duì)計(jì)算力的需求是遠(yuǎn)遠(yuǎn)不夠的。因此，為了滿足這種計(jì)算力的需求，我們不斷地在GPU層面打磨我們的技術(shù)，提升各方面的性能。在這樣的基礎(chǔ)之上，我們也看到越來越多的人開始基于CUDA去編程訓(xùn)練自己的模型，Google、Facebook等也基于CUDA構(gòu)建自己的開源深度學(xué)習(xí)平臺(tái)。

NVIDIA于2018年3月在GPU技術(shù)大會(huì)上推出了HGX-2 平臺(tái)，以及以HGX-2為架構(gòu)的 DGX-2服務(wù)器。它是一件高密集，強(qiáng)性能并具有極佳的熱性能的電子產(chǎn)品。DGX-2架構(gòu)的核心是NVSwitch內(nèi)存結(jié)構(gòu)，本質(zhì)上，NVSwitch結(jié)構(gòu)為GPU節(jié)點(diǎn)創(chuàng)建了一個(gè)512 GB的巨大的共享內(nèi)存空間，以 10 千瓦的功耗，在TensorCore上達(dá)到近2Petaflops的算力。

HGX-2 平臺(tái)的內(nèi)嵌 NVSwitch 拓?fù)浣Y(jié)構(gòu)的框圖（圖源：NextPlatform）

所謂GPU Computing不是一個(gè)單單拼硬件的事，如何來把這些算力用到人工智能算法和實(shí)際應(yīng)用場景下才是大多數(shù)人應(yīng)該關(guān)注的重點(diǎn)。大家提到英偉達(dá)可能都覺得是一家芯片公司，但其實(shí)我們公司全球一共大概有一萬兩千人；其中一萬一千人都是工程師，在這些工程師里，七千個(gè)都是軟件工程師，他們共同來搭建和完善基于GPU Computing的人工智能生態(tài)。

目前來說，人工智能的應(yīng)用場景比較多的集中在Consumer Internet，國內(nèi)以BATJ、TMD為代表，美國主要是方佳、蘋果、微軟和Netflix等等。這些公司是人工智能領(lǐng)域的第一批先鋒，他們在這個(gè)領(lǐng)域投入了大量的資金，堆積了很多的算力，把業(yè)內(nèi)最有名的博士都招到他們公司，他們的每一個(gè)服務(wù)動(dòng)輒就每天上億的使用量（DAU，Daily Active User），因此又收集了大量的數(shù)據(jù)。李彥宏在2018 Create百度開發(fā)者大會(huì)上提到一個(gè)Intelligent Chasm的概念，可以理解為智能溝壑，說的是和這些頭部公司所堆積的算力以及數(shù)據(jù)相比，全球其他所有公司的算力加起來可能也就是跟他們差不多的規(guī)模，甚至還不如。這種算力和數(shù)據(jù)的差距像天塹一樣。

那么如何把這些看似高高在上的人工智能算法和還比較昂貴的算力，以及很難獲取的數(shù)據(jù)，變得更加容易，這是我們過去已經(jīng)做了的以及接下來的時(shí)間里要去做的工作。

以TensorRT為例，NVIDIA TensorRT是一種高性能神經(jīng)網(wǎng)絡(luò)推理(Inference)引擎，用于在生產(chǎn)環(huán)境中部署深度學(xué)習(xí)應(yīng)用程序，應(yīng)用有圖像分類、分割和目標(biāo)檢測等，可提供最大的推理吞吐量和效率。TensorRT是第一款可編程推理加速器，能加速現(xiàn)有和未來的網(wǎng)絡(luò)架構(gòu)。通過TensorRT的大幅度加速，服務(wù)提供商能夠以經(jīng)濟(jì)實(shí)惠的成本部署這些計(jì)算密集型人工智能工作負(fù)載。

二、AI行業(yè)案例分享

人工智能比較常用的應(yīng)用場景除了互聯(lián)網(wǎng)之外，還有自動(dòng)駕駛、醫(yī)療、電信等等。

1. 推薦引擎

過去是人找信息，現(xiàn)在則轉(zhuǎn)變?yōu)樾畔⒄胰?。大家可能都用過快手或者抖音之類的小視頻APP，這些小視頻的背后，都有神經(jīng)網(wǎng)絡(luò)算法在支撐。你在使用一個(gè)推薦引擎的同時(shí)，可能有幾十個(gè)模型在對(duì)你進(jìn)行評(píng)估，五年前可能只是sensing，感知你的需求，現(xiàn)在是從各種維度對(duì)你進(jìn)行評(píng)估，多方面平衡，不光要吸引人點(diǎn)擊，還要你停留足夠長的時(shí)間；而吸引人點(diǎn)擊和吸引人停留的算法又有很大的差別。

國內(nèi)幾乎所有大的互聯(lián)網(wǎng)公司，都在訓(xùn)練自己的推薦模型，做到千人千面。推薦對(duì)于這些公司是非常重要的，因?yàn)榛ヂ?lián)網(wǎng)變現(xiàn)幾乎都和推薦有關(guān)，電商類不用說，食品類比如國內(nèi)的快手、抖音，國外的Netflix、Hulu，資訊類的比如Google news、今日頭條，還有音樂類，社交類等等。用戶的使用又在給公司提供新的數(shù)據(jù)，可以用于訓(xùn)練更有效的模型。這一方面提升了用戶體驗(yàn)，但另一方面可能造成用戶無法脫離這些產(chǎn)品。

2. 醫(yī)療

在英偉達(dá)初創(chuàng)加速計(jì)劃的會(huì)員中，有很大一部分都是人工智能+醫(yī)療的項(xiàng)目。醫(yī)療項(xiàng)目的一大挑戰(zhàn)是診斷。目前來講還是很難通過深度學(xué)習(xí)來做診斷，但市場仍然很大。根據(jù)一些相關(guān)報(bào)告上的數(shù)據(jù)，對(duì)于一些慢病診斷，使用深度學(xué)習(xí)算法進(jìn)行輔助之后，可以將準(zhǔn)確率提高30%-40%，同時(shí)成本下降一半。

以視網(wǎng)膜掃描為例。人們常說眼睛是心靈的窗戶，事實(shí)上眼睛也是身體的窗戶，人眼的視網(wǎng)膜上分布著豐富的毛細(xì)血管，通過掃描視網(wǎng)膜，可以檢測到人身體上的一些問題，比如糖尿病的次生災(zāi)害之一就是視網(wǎng)膜的病變，以及心血管疾病。

在國內(nèi)，能夠通過視網(wǎng)膜掃描來進(jìn)行診斷的醫(yī)生比較少；而且在國內(nèi)，部分醫(yī)生是不能下診斷的。通過深度學(xué)習(xí)技術(shù)，可以將這些醫(yī)生的經(jīng)驗(yàn)進(jìn)行收集，從而輔助診斷。目前這項(xiàng)技術(shù)還很難應(yīng)用到醫(yī)院里，但是一些保險(xiǎn)公司非常愿意通過這種技術(shù)，來獲得客戶患病概率的一些信息，從而輔助制定保單金額。

3. 自動(dòng)駕駛

為了進(jìn)行自動(dòng)駕駛的研發(fā)，英偉達(dá)有自己的一個(gè)server farm。這個(gè)serverfarm內(nèi)有 1000臺(tái)DGX-1，具有1個(gè)E（1E=1024P=1024*1024T）的浮點(diǎn)運(yùn)算能力，用于自動(dòng)駕駛模型的訓(xùn)練。一輛車在外面跑一天，會(huì)產(chǎn)生上T的數(shù)據(jù)量，一年可能是上P的數(shù)據(jù)量。但即使是這樣，僅僅靠實(shí)車上路收集數(shù)據(jù)也遠(yuǎn)遠(yuǎn)不夠，根據(jù)估算，自動(dòng)駕駛車輛至少要跑10萬英里，才能勉強(qiáng)滿足上路的標(biāo)準(zhǔn)。就現(xiàn)在而言，自動(dòng)駕駛的車輛脫把率并不高，Google的自動(dòng)駕駛車輛大概是幾千英里需要扶一次方向盤，其他的情況也基本一樣。

我們現(xiàn)在的做法是把實(shí)車?yán)锏哪Ｐ湍玫絪erver farm里，讓他在服務(wù)器里的高度仿真的模擬環(huán)境下進(jìn)行訓(xùn)練，在訓(xùn)練的過程中產(chǎn)生新的數(shù)據(jù)，然后用這些數(shù)據(jù)再去訓(xùn)練新的模型。通過這種做法來嘗試加速對(duì)自動(dòng)駕駛車輛模型的訓(xùn)練。

圖源：pixabay.com

在AI應(yīng)用場景的分享之后，主講人趙立威還向大家詳細(xì)介紹了NVIDIA的新品Quadro RTX，它能夠幫助游戲和電影行業(yè)實(shí)現(xiàn)實(shí)時(shí)的光線追蹤和渲染。最后，他以英偉達(dá)在硅谷的新辦公大樓“Endeavor”和“Voyager”作結(jié)，表達(dá)了英偉達(dá)在人工智能領(lǐng)域?qū)⒉粩嗯?，并期待人工智能技術(shù)帶領(lǐng)人類走入未知領(lǐng)域的愿景。