英偉達(dá)在世界電腦會(huì)議(sc2023)上發(fā)布了最新ai芯片h200,對(duì)ai模型進(jìn)行了訓(xùn)練。
英偉達(dá)大幅升級(jí)了熱門(mén)的h100人工智能gpu。新高端芯片芯片h200基于英偉達(dá)的hopper架構(gòu),是第一個(gè)使用高帶寬內(nèi)存的gpu,速度更快。建立一個(gè)大的語(yǔ)言模型是必要的。推理或生成問(wèn)題答案時(shí)性能比h100提高60 ~ 90%。
英偉達(dá)方面表示,以hbm3e為基礎(chǔ),h200每秒提供4.8tb、141gb的存儲(chǔ)器,與a100相比,容量和帶寬分別增加2倍和2.4倍。
在備受關(guān)注的人工智能領(lǐng)域,英偉達(dá)表示,h200將進(jìn)一步提高性能。llama 2(700億個(gè)llm)的推理速度是h100的兩倍。未來(lái)的軟件更新有望為h200帶來(lái)更多的性能和改進(jìn)。
h200由英偉達(dá)hgx h200服務(wù)器主板4頻道和8頻道組成,可與hgx h100系統(tǒng)的硬件和軟件兼容。
據(jù)悉,大型計(jì)算機(jī)制造企業(yè)和云服務(wù)提供企業(yè)將從明年第二季度開(kāi)始使用h200。亞馬遜的aws、Alphabet公司的谷歌云、微軟的azure、甲骨文的云基礎(chǔ)設(shè)施已承諾從明年開(kāi)始使用該新芯片。
英偉達(dá)表示,希望通過(guò)推出新產(chǎn)品,趕上人工智能(ai)模型和服務(wù)數(shù)據(jù)集規(guī)模的增加。隨著內(nèi)存容量的增加,h200向軟件提供數(shù)據(jù)的速度將會(huì)加快,這一過(guò)程將訓(xùn)練人工智能來(lái)完成圖像和語(yǔ)音識(shí)別等工作。
過(guò)去英偉達(dá)通常每?jī)赡旮乱淮涡酒軜?gòu),而最新的芯片架構(gòu)是hopper。但nvidia向投資者表示,隨著上月對(duì)gpu的需求劇增,原本每2年推出新的架構(gòu),現(xiàn)在改為每1年推出新的架構(gòu)。
-
存儲(chǔ)器
+關(guān)注
關(guān)注
38文章
7430瀏覽量
163515 -
人工智能
+關(guān)注
關(guān)注
1789文章
46652瀏覽量
237073 -
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3720瀏覽量
90683
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論