0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

蘋果轉(zhuǎn)向谷歌芯片訓(xùn)練AI,或成棄用英偉達(dá)GPU首例

要長(zhǎng)高 ? 2024-07-30 16:06 ? 次閱讀

在7月29日這個(gè)令全球矚目的日子里,蘋果公司對(duì)外展示了其iPhone AI應(yīng)用的首次預(yù)覽版本,并同步發(fā)表了相關(guān)研究論文,而這篇論文十分明確地指出,蘋果的深度學(xué)習(xí)人工智能模型正是在Google的TPU(張量處理單元)之上得到鍛煉與提升的。在這篇論文中,我們可以詳細(xì)了解到蘋果為了支持其Apple Intelligence功能而精心打造的基礎(chǔ)語言模型,其中包括一個(gè)專為在設(shè)備上高效運(yùn)行而設(shè)計(jì)的大約三十億參數(shù)模型以及一個(gè)基于私有云計(jì)算的云端大模型。

蘋果公司在其官方發(fā)布的論文中對(duì)基礎(chǔ)模型的建模過程進(jìn)行了全面概述。

值得注意的是,蘋果在發(fā)布的論文中明確表示,他們?cè)诎饲б话倬攀琓PU v4芯片上成功訓(xùn)練了云端AFM(Apple Foundation Model),并且采用了四千零九十六的序列長(zhǎng)度和四千零九十六個(gè)序列的批量大小,完成了高達(dá)六點(diǎn)三萬億token的訓(xùn)練任務(wù)。同時(shí),端側(cè)AFM則在兩千零四十八片TPU v5p芯片上進(jìn)行了深度強(qiáng)化訓(xùn)練。由此可見,蘋果此舉無疑彰顯了其在人工智能訓(xùn)練領(lǐng)域?qū)Π?a href="http://ttokpm.com/tags/英偉達(dá)/" target="_blank">英偉達(dá)圖形處理單元在內(nèi)的其他解決方案的探索意愿。

此外,根據(jù)某些具有影響力的芯片行業(yè)媒體報(bào)道,蘋果此番舉措其實(shí)已經(jīng)拉開了其逐步脫離英偉達(dá)GPU依賴的序幕。分析師們?cè)诮衲炅鲁鯇?duì)日本證券公司瑞穗證券做出的估算顯示,英偉達(dá)在此前占據(jù)主導(dǎo)的AI芯片市場(chǎng)中,控制著用于訓(xùn)練和部署OpenAI的GPT等模型所需的AI芯片的70%-95%。雖然一些專家將這種市場(chǎng)份額形容為英偉達(dá)的“護(hù)城河”,但歸根結(jié)底,他們還是認(rèn)為這家實(shí)力雄厚的公司,憑借AI圖形處理單元GPU(如標(biāo)志性的H100)與自家獨(dú)特的CUDA軟件相結(jié)合的策略優(yōu)勢(shì),才在這場(chǎng)激烈的競(jìng)爭(zhēng)中搶占先機(jī)。

同樣值得一提的是,包括谷歌、Meta(原Facebook),甲骨文及特斯拉在內(nèi)的多家科技巨頭也一直在傾力研發(fā)和打造自己的人工智能系統(tǒng)和產(chǎn)品。心智觀察所的研究員潘攻愚先生對(duì)此表示,蘋果宣布其Apple Foundation Model(AFM)在谷歌自主開發(fā)的Tensor處理單元(TPU)上進(jìn)行訓(xùn)練,并且還租賃了谷歌的云服務(wù)。他進(jìn)一步指出,蘋果在AI訓(xùn)練方面的決策反映出了英偉達(dá)通用型AI加速器與谷歌的ASIC定制化AI服務(wù)體系之間的競(jìng)爭(zhēng)愈發(fā)白熱化。

始自2015年,谷歌一直依賴自主研發(fā)的TPU進(jìn)行AI模型的訓(xùn)練與部署。其特殊之處在于并非以設(shè)計(jì)通用處理器見長(zhǎng),而是致力于打造具備矩陣處理能力的專用處理器,用于優(yōu)化神經(jīng)網(wǎng)絡(luò)相關(guān)的大量運(yùn)算與數(shù)據(jù)傳輸流程,無需直接訪問內(nèi)存,使得整體效率大幅提高。

今年五月份,谷歌發(fā)布公告,宣布推出全新的AI數(shù)據(jù)中心芯片Trillium。對(duì)比此前版型,該芯片性能實(shí)現(xiàn)了驚人的近乎5倍提速。公司透露,此款芯片將主要用于開發(fā)自身的AI模型,其中包括備受關(guān)注的Gemini以及Imagen項(xiàng)目。

谷歌方面公開表示,若早三年前預(yù)定,最新款TPU每小時(shí)使用費(fèi)用甚至不足2美元。該產(chǎn)品最初于2015年應(yīng)用于公司內(nèi)部工作負(fù)載領(lǐng)域,隨后于2017年公開對(duì)外銷售,至今已成為專為AI量身定做且技術(shù)最為成熟的定制芯片之一。

然而,谷歌依然保持著對(duì)英偉達(dá)的高度忠誠(chéng),后者依然成為其最大的合作伙伴。利用英偉達(dá)的GPU和自家的TPU共同訓(xùn)練AI系統(tǒng),同時(shí)在其云服務(wù)平臺(tái)售賣英偉達(dá)技術(shù)的訪問權(quán)限。

如同潘攻愚所分析的那樣,“盡管英偉達(dá)在當(dāng)前高端AI芯片市場(chǎng)擁有高達(dá)80%的份額,而谷歌等大型云服務(wù)商則占據(jù)了其余市場(chǎng)。特別值得一提的是,蘋果今年采用的谷歌TPUv5雖在通用性上相較英偉達(dá)同類產(chǎn)品略顯遜色,卻主打性價(jià)比優(yōu)勢(shì),總體擁有成本低于英偉達(dá)的四倍,且供貨周期更短。現(xiàn)在,鑒于與谷歌之間微妙的競(jìng)爭(zhēng)與合作關(guān)系,英偉達(dá)暫時(shí)不會(huì)輕易涉足ASIC領(lǐng)域?!?/p>

Meta首席執(zhí)行官馬克·扎克伯格及Alphabet首席執(zhí)行官桑達(dá)爾·皮查伊在上周均發(fā)表觀點(diǎn),認(rèn)為他們的企業(yè)以及業(yè)界同行可能在AI基礎(chǔ)設(shè)施建設(shè)上投入過多,但同時(shí)也承認(rèn),如果不這樣做,那么商業(yè)風(fēng)險(xiǎn)將會(huì)極高。一旦落伍,就意味著將失去未來10至15年內(nèi)最具價(jià)值的技術(shù)主導(dǎo)權(quán)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • Google
    +關(guān)注

    關(guān)注

    5

    文章

    1754

    瀏覽量

    57380
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4673

    瀏覽量

    128594
  • 蘋果
    +關(guān)注

    關(guān)注

    61

    文章

    24336

    瀏覽量

    195569
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    29812

    瀏覽量

    268109
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    AI大模型不再依賴英偉達(dá)GPU?蘋果揭秘自研大模型

    ,獲得足夠的算力構(gòu)建自己的計(jì)算中心,用于訓(xùn)練不同應(yīng)用的AI模型。 AI領(lǐng)域眾星捧月也造就了英偉達(dá)市值曾突破三萬億美元,并短暫登頂全球第一的位
    的頭像 發(fā)表于 08-05 06:07 ?3858次閱讀
    <b class='flag-5'>AI</b>大模型不再依賴<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>GPU</b>?<b class='flag-5'>蘋果</b>揭秘自研大模型

    Inflection AI轉(zhuǎn)向英特爾Gaudi 3,放棄英偉達(dá)GPU

    近日,人工智能技術(shù)公司Inflection AI宣布了一項(xiàng)重要決策,其最新的企業(yè)平臺(tái)將放棄采用英偉達(dá)(Nvidia)的GPU,轉(zhuǎn)而選擇英特爾的Gaudi 3加速器。
    的頭像 發(fā)表于 10-10 17:21 ?420次閱讀

    英偉達(dá)Blackwell可支持10萬億參數(shù)模型AI訓(xùn)練,實(shí)時(shí)大語言模型推理

    。 ????????????????????? 英偉達(dá)Blackwell是通用計(jì)算全棧矩陣的終極解決方案,由多個(gè)英偉達(dá)芯片組成,包括Blac
    的頭像 發(fā)表于 09-04 09:10 ?2782次閱讀

    蘋果AI模型訓(xùn)練新動(dòng)向:攜手谷歌,未選英偉達(dá)

    近日,蘋果公司發(fā)布的最新研究報(bào)告揭示了其在人工智能領(lǐng)域的又一重要戰(zhàn)略選擇——采用谷歌設(shè)計(jì)的芯片訓(xùn)練AI模型,而非行業(yè)巨頭
    的頭像 發(fā)表于 08-01 18:11 ?885次閱讀

    蘋果承認(rèn)使用谷歌芯片訓(xùn)練AI

    蘋果公司最近在一篇技術(shù)論文中披露,其先進(jìn)的人工智能系統(tǒng)Apple Intelligence背后的兩個(gè)關(guān)鍵AI模型,是在谷歌設(shè)計(jì)的云端芯片上完成預(yù)訓(xùn)練
    的頭像 發(fā)表于 07-30 17:03 ?670次閱讀

    英偉達(dá)將全面轉(zhuǎn)向開源GPU內(nèi)核模塊

    英偉達(dá)公司近期宣布了一項(xiàng)重大決策,即全面轉(zhuǎn)向開源GPU內(nèi)核模塊,并計(jì)劃最終以此取代閉源驅(qū)動(dòng)程序。這一戰(zhàn)略轉(zhuǎn)變標(biāo)志著英偉
    的頭像 發(fā)表于 07-19 15:26 ?526次閱讀

    英偉達(dá)將推出融合Arm與Blackwell內(nèi)核的AI PC芯片

    近日,業(yè)內(nèi)傳出英偉達(dá)正在研發(fā)一款全新芯片的傳聞。據(jù)悉,這款芯片將結(jié)合下一代Arm Cortex CPU內(nèi)核與英偉
    的頭像 發(fā)表于 05-31 10:31 ?556次閱讀

    進(jìn)一步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級(jí)芯片

    。 **英偉達(dá)Blackwell架構(gòu)在數(shù)據(jù)中心方面的應(yīng)用有哪些?** 1. **AI **大模型訓(xùn)練 Blackwell 架構(gòu)的 GPU
    發(fā)表于 05-13 17:16

    英偉達(dá)發(fā)布新一代AI芯片架構(gòu)Blackwell GPU

    近日,英偉達(dá)首席執(zhí)行官黃仁勛在GTC 2024會(huì)議上發(fā)表主題演講,重磅推出全新AI芯片架構(gòu)Blackwell GPU。這一創(chuàng)新技術(shù)的首款
    的頭像 發(fā)表于 03-26 11:19 ?800次閱讀

    FPGA在深度學(xué)習(xí)應(yīng)用中將取代GPU

    上漲,因?yàn)槭聦?shí)表明,它們的 GPU訓(xùn)練和運(yùn)行 深度學(xué)習(xí)模型 方面效果明顯。實(shí)際上,英偉達(dá)也已經(jīng)對(duì)自己的業(yè)務(wù)進(jìn)行了轉(zhuǎn)型,之前它是一家純粹做 GPU
    發(fā)表于 03-21 15:19

    【機(jī)器視覺】歡創(chuàng)播報(bào) | 英偉達(dá)拿下全球90%的AI芯片市場(chǎng)

    1 英偉達(dá)拿下全球90%的AI芯片市場(chǎng) 1月27日消息,作為人工智能領(lǐng)域“無可爭(zhēng)議的領(lǐng)導(dǎo)者”,最新的數(shù)據(jù)顯示,受益于過去一年生
    的頭像 發(fā)表于 02-01 11:29 ?669次閱讀

    谷歌揭秘Gemini,AMD對(duì)峙英偉達(dá)

    今天,我們看到谷歌揭開了多模態(tài)AI模型Gemini的神秘面紗,AMD挑戰(zhàn)英偉達(dá)AI芯片市場(chǎng)的霸
    的頭像 發(fā)表于 12-07 20:05 ?689次閱讀

    英偉達(dá)AI設(shè)計(jì)GPU算術(shù)電路有何優(yōu)勢(shì)

    大量的算術(shù)電路陣列為英偉達(dá)GPU提供了動(dòng)力,以實(shí)現(xiàn)前所未有的AI、高性能計(jì)算和計(jì)算機(jī)圖形加速。因此,改進(jìn)這些算術(shù)電路的設(shè)計(jì)對(duì)于提升 GPU
    發(fā)表于 12-05 11:05 ?393次閱讀

    英偉達(dá)特供版芯片性能降80%!

    報(bào)道中提到,英偉達(dá)的這三款AI芯片并非“改良版”,而是“縮水版”,其分別是HGX H20、L20 PCle和L2 PCle。用于AI模型
    的頭像 發(fā)表于 11-14 17:09 ?883次閱讀

    英偉達(dá)確認(rèn)為中國(guó)推三款改良AI芯片 性能暴降80%

    據(jù)報(bào)道,nvidia的3種ai芯片不是“改良版”,而是“縮水版”,分別是hgx h20、l20 pcle和l2 pcle。用于ai模型訓(xùn)練的hgx h20雖然帶寬和計(jì)算速度有限,但整體
    的頭像 發(fā)表于 11-13 10:46 ?722次閱讀