搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      始于硬件卻也被硬件所限的深度學(xué)習(xí)

      lPCU_elecfans ? 來(lái)源：未知 ? 2022-12-05 07:10 ? 次閱讀
      電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）深度學(xué)習(xí)硬件在AI時(shí)代已經(jīng)引領(lǐng)了不少設(shè)計(jì)創(chuàng)新，無(wú)論是簡(jiǎn)單的邊緣推理，還是大規(guī)模自然語(yǔ)言模型的訓(xùn)練，都有了性能上的突破。作為業(yè)內(nèi)在深度學(xué)習(xí)上投入最多的公司之一，英偉達(dá)無(wú)疑是這類硬件的領(lǐng)軍者。
      近日，在伯克利大學(xué)的電子工程與電腦科學(xué)學(xué)院研討會(huì)上，英偉達(dá)的首席科學(xué)家、研究部門高級(jí)副總裁同時(shí)兼任該校副教授的Bill Dally，分享了從他這個(gè)從業(yè)人士看來(lái)，發(fā)生在深度學(xué)習(xí)硬件上的一些趨勢(shì)。

      硬件成為限制

      AI的浪潮其實(shí)早在20世紀(jì)就被多次掀起過(guò)，但真正成為人們不可忽視的巨浪，還是這十幾年的事，因?yàn)檫@時(shí)候AI有了天時(shí)地利人和：算法與模型，大到足夠訓(xùn)練這些模型的數(shù)據(jù)集，以及能在合理的時(shí)間內(nèi)訓(xùn)練出這些模型的硬件。
      但從帶起第一波深度學(xué)習(xí)的AlexNet，到如今的GPT-3和Turing NLG等，人們不斷在打造更大的數(shù)據(jù)集和更大的模型，加上大語(yǔ)言模型的興起，對(duì)訓(xùn)練的要求也就越來(lái)越高?？稍谀柖梢呀?jīng)放緩的當(dāng)下，訓(xùn)練時(shí)間也在被拉長(zhǎng)。

      基于Hopper架構(gòu)的H100 GPU / 英偉達(dá)
      以英偉達(dá)為例，到了帕斯卡這一代，他們才真正開始考慮單芯片的深度學(xué)習(xí)性能，并結(jié)合到GPU的設(shè)計(jì)中去，所以才有了Hopper這樣超高規(guī)格的AI硬件出現(xiàn)。但我們?cè)谟?xùn)練這些模型的時(shí)候，并沒(méi)有在硬件規(guī)模上有所減少，仍然需要用到集成了數(shù)塊Hopper GPU的DGX系統(tǒng)，甚至打造一個(gè)超算。很明顯，單從硬件這一個(gè)方向出發(fā)已經(jīng)有些不夠了，至少不是一個(gè)“高性價(jià)比”的方案。

      軟硬件全棧投入

      硬件推出后，仍要針對(duì)特定的模型進(jìn)行進(jìn)一步的軟件優(yōu)化，因此即便是同樣的硬件，其AI性能也會(huì)在未來(lái)呈現(xiàn)數(shù)倍的飛躍。從上個(gè)月的MLPerf的測(cè)試結(jié)果就可以看出，在A100 GPU推出的2.5年內(nèi)，英偉達(dá)就靠軟件優(yōu)化實(shí)現(xiàn)了最高2.5倍的訓(xùn)練性能提升，當(dāng)然了最大的性能提升還是得靠H100這樣的新硬件來(lái)實(shí)現(xiàn)。
      Bill Dally表示這就是英偉達(dá)的優(yōu)勢(shì)所在，雖然這幾年投入進(jìn)深度學(xué)習(xí)硬件的資本不少，但隨著經(jīng)濟(jì)下行，不少投資者已經(jīng)喪失了信心，所以不少AI硬件初創(chuàng)公司都沒(méi)能撐下去，他自己也在這段時(shí)間看到了不少向英偉達(dá)投遞過(guò)來(lái)的簡(jiǎn)歷。
      他認(rèn)為不少這些公司都已經(jīng)打造出了自己的矩陣乘法器，但他們并沒(méi)有在軟件上有足夠的投入，所以即便他們一開始給出的指標(biāo)很好看，也經(jīng)常拿英偉達(dá)的產(chǎn)品作為對(duì)比，未來(lái)的性能甚至比不過(guò)英偉達(dá)的上一代硬件，更別說(shuō)Hopper這類新產(chǎn)品了。

      加速器

      相較傳統(tǒng)的通用計(jì)算硬件，加速器在深度學(xué)習(xí)上明顯要高效多了，因?yàn)榧铀倨魍际亲鳛橐环N專用單元存在的，比如針對(duì)特定的數(shù)據(jù)類型和運(yùn)算。加速器可以在一個(gè)運(yùn)算周期內(nèi)就完成通常需要花上10秒或100秒才能完成的工作量，效率最高可提升1000倍。

      A100和H100的MLPerf跑分 / 英偉達(dá)
      當(dāng)然了要追求純粹的性能提升，而不是效率提升的話，這些加速器也可以采用大規(guī)模并行設(shè)計(jì)，比如典型的32x32矩陣乘法單元，同時(shí)運(yùn)行的運(yùn)算有了千百倍的提升。加速器在內(nèi)存設(shè)計(jì)上也更具有優(yōu)勢(shì)，比如針對(duì)特定的數(shù)據(jù)結(jié)構(gòu)和運(yùn)算，選擇優(yōu)化過(guò)的高帶寬低能耗內(nèi)存，同時(shí)盡可能使用本地內(nèi)存，減少數(shù)據(jù)搬運(yùn)來(lái)控制開銷。
      對(duì)于英偉達(dá)來(lái)說(shuō)，他們?cè)诩铀倨魃系难芯扛袷菫镚PU準(zhǔn)備的試驗(yàn)田，一旦有優(yōu)秀的成果出現(xiàn)，這些加速器就會(huì)成為GPU上的新核心。

      小結(jié)

      從Bill Dally的分享中，我們可以看出英偉達(dá)這樣的巨頭在深度學(xué)習(xí)上選擇的技術(shù)路線，以及他們?yōu)楹文茉诒姸喑鮿?chuàng)公司涌現(xiàn)、大廠入局的當(dāng)下巋然不動(dòng)的底氣。這并不是說(shuō)深度學(xué)習(xí)硬件的道路只有這一條，類腦芯片等技術(shù)的出現(xiàn)也提供了新的破局機(jī)會(huì)，但有了前人經(jīng)驗(yàn)的借鑒后，在兼顧性能、數(shù)值精度、模型的同時(shí)，還是得在軟件上下大功夫才行。

      聲明：本文由電子發(fā)燒友原創(chuàng)，轉(zhuǎn)載請(qǐng)注明以上來(lái)源。如需入群交流，請(qǐng)?zhí)砑游⑿舉lecfans999，投稿爆料采訪需求，請(qǐng)發(fā)郵箱huangjingjing@elecfans.com。


      更多熱點(diǎn)文章閱讀

      • 最高漲幅25%，AMD宣布上調(diào)Xilinx FPGA售價(jià)，供應(yīng)短缺讓TOP 2廠商受益
      • 時(shí)隔20年，莫斯科人汽車再次復(fù)產(chǎn)，背后全是中國(guó)車企的影子
      • 歐盟超430億歐元投向芯片領(lǐng)域，對(duì)上游半導(dǎo)體設(shè)備有何影響？
      • 24W以下電源，新型自供電BJT方案將全面取代其他方案？
      • 車用芯片不再缺？芯片大廠表示有所緩解，真實(shí)情況究竟如何呢？

      原文標(biāo)題：始于硬件卻也被硬件所限的深度學(xué)習(xí)

      文章出處：【微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

      原文標(biāo)題：始于硬件卻也被硬件所限的深度學(xué)習(xí)

      文章出處：【微信號(hào)：elecfans，微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

      收藏 人收藏

        評(píng)論

        相關(guān)推薦

        如何幫助孩子高效學(xué)習(xí)Python:開源硬件實(shí)踐是最優(yōu)選擇

        家長(zhǎng)們常常擔(dān)心孩子在學(xué)習(xí)Python時(shí)所面臨的挑戰(zhàn)，如復(fù)雜性、興趣保持、學(xué)習(xí)進(jìn)度和可用資源。對(duì)于希望有效教授孩子Python的家長(zhǎng)而言，了解硬件的作用至關(guān)重要，因?yàn)榻Y(jié)合硬件項(xiàng)目的Pyt
        的頭像 發(fā)表于 09-06 09:49 ?119次閱讀

        啟明智顯：深度融合AI技術(shù)，引領(lǐng)硬件產(chǎn)品全面智能化升級(jí)

        啟明智顯，作為AI領(lǐng)域的先行者，正以前所未有的決心和行動(dòng)力，深度融合先進(jìn)的人工智能技術(shù)，引領(lǐng)硬件產(chǎn)品全面智能化升級(jí)
        的頭像 發(fā)表于 07-18 16:11 ?245次閱讀
        啟明智顯：<b class='flag-5'>深度</b>融合AI技術(shù)，引領(lǐng)<b class='flag-5'>硬件</b>產(chǎn)品全面智能化升級(jí)

        深度學(xué)習(xí)中的時(shí)間序列分類方法

        時(shí)間序列分類（Time Series Classification, TSC）是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域的重要任務(wù)之一，廣泛應(yīng)用于人體活動(dòng)識(shí)別、系統(tǒng)監(jiān)測(cè)、金融預(yù)測(cè)、醫(yī)療診斷等多個(gè)領(lǐng)域。隨著深度
        的頭像 發(fā)表于 07-09 15:54 ?378次閱讀

        深度學(xué)習(xí)與nlp的區(qū)別在哪

        深度學(xué)習(xí)和自然語(yǔ)言處理（NLP）是計(jì)算機(jī)科學(xué)領(lǐng)域中兩個(gè)非常重要的研究方向。它們之間既有聯(lián)系，也有區(qū)別。本文將介紹深度學(xué)習(xí)與NLP的區(qū)別。 深度
        的頭像 發(fā)表于 07-05 09:47 ?494次閱讀

        EVASH Ultra EEPROM：被美國(guó)權(quán)威雜志評(píng)為優(yōu)秀硬件存儲(chǔ)廠商

        EVASH Ultra EEPROM：被美國(guó)權(quán)威雜志評(píng)為優(yōu)秀硬件存儲(chǔ)廠商
        的頭像 發(fā)表于 07-01 12:53 ?157次閱讀

        EVASH Ultra EEPROM：被Google認(rèn)定為五大硬件廠商之一

        EVASH Ultra EEPROM：被Google認(rèn)定為五大硬件廠商之一
        的頭像 發(fā)表于 07-01 12:47 ?168次閱讀

        深度學(xué)習(xí)編譯工具鏈中的核心——圖優(yōu)化

        深度神經(jīng)網(wǎng)絡(luò)模型可以看做由多個(gè)算子連接而成的有向無(wú)環(huán)圖，圖中每個(gè)算子代表一類操作（如乘法、卷積），連接各個(gè)算子的邊表示數(shù)據(jù)流動(dòng)。在部署深度神經(jīng)網(wǎng)絡(luò)的過(guò)程中，為了適應(yīng)硬件平臺(tái)的優(yōu)化、硬件
        的頭像 發(fā)表于 05-16 14:24 ?487次閱讀
        <b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>編譯工具鏈中的核心——圖優(yōu)化

        深度解析深度學(xué)習(xí)下的語(yǔ)義SLAM

        隨著深度學(xué)習(xí)技術(shù)的興起，計(jì)算機(jī)視覺的許多傳統(tǒng)領(lǐng)域都取得了突破性進(jìn)展，例如目標(biāo)的檢測(cè)、識(shí)別和分類等領(lǐng)域。近年來(lái)，研究人員開始在視覺SLAM算法中引入深度學(xué)習(xí)技術(shù)，使得
        發(fā)表于 04-23 17:18 ?1008次閱讀
        <b class='flag-5'>深度</b>解析<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>下的語(yǔ)義SLAM

        FPGA在深度學(xué)習(xí)應(yīng)用中或?qū)⑷〈鶪PU

        ，這使得它比一般處理器更高效。但是，很難對(duì) FPGA 進(jìn)行編程，Larzul 希望通過(guò)自己公司開發(fā)的新平臺(tái)解決這個(gè)問(wèn)題。 專業(yè)的人工智能硬件已經(jīng)成為了一個(gè)獨(dú)立的產(chǎn)業(yè)，但對(duì)于什么是深度學(xué)習(xí)算法的最佳
        發(fā)表于 03-21 15:19

        目前主流的深度學(xué)習(xí)算法模型和應(yīng)用案例

        深度學(xué)習(xí)在科學(xué)計(jì)算中獲得了廣泛的普及，其算法被廣泛用于解決復(fù)雜問(wèn)題的行業(yè)。所有深度學(xué)習(xí)算法都使用不同類型的神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行特定任務(wù)。
        的頭像 發(fā)表于 01-03 10:28 ?1242次閱讀
        目前主流的<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>算法模型和應(yīng)用案例

        硬件測(cè)試

        硬件測(cè)試
        Spancer Huang
        發(fā)布于 :2023年11月23日 19:00:50

        硬件怎么學(xué)習(xí)?--硬件基礎(chǔ)入門需要哪些知識(shí)

        計(jì)算機(jī)硬件
        油潑辣子
        發(fā)布于 :2023年11月23日 16:41:33

        深度學(xué)習(xí)在語(yǔ)音識(shí)別中的應(yīng)用及挑戰(zhàn)

        一、引言 隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，其在語(yǔ)音識(shí)別領(lǐng)域的應(yīng)用也日益廣泛。深度學(xué)習(xí)技術(shù)可以有效地提高語(yǔ)音識(shí)別的精度和效率，并且被廣泛應(yīng)用于各種
        的頭像 發(fā)表于 10-10 18:14 ?749次閱讀

        深度學(xué)習(xí)的由來(lái) 深度學(xué)習(xí)的經(jīng)典算法有哪些

        深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，其學(xué)習(xí)方法可以分為監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。兩種方法都具有其獨(dú)特的
        發(fā)表于 10-09 10:23 ?483次閱讀
        <b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的由來(lái) <b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的經(jīng)典算法有哪些

        學(xué)習(xí)筆記|硬件安全屬性介紹

        學(xué)習(xí)筆記|硬件安全屬性介紹
        的頭像 發(fā)表于 09-26 17:16 ?659次閱讀
        <b class='flag-5'>學(xué)習(xí)</b>筆記|<b class='flag-5'>硬件</b>安全屬性介紹