據(jù)外電報道,美國ai芯片初創(chuàng)企業(yè)d-matrix最近宣布,將推出jayhawk ii芯片,用于其獨創(chuàng)的數(shù)字memory computing引擎,通過chiplet結(jié)構(gòu)進(jìn)行生成宏觀推理。
公司方面表示,該引擎的內(nèi)存帶寬比nvidia的h100a100等高端的gpu大40倍。此外,d-matrix還主張,jayhawk ii對30億至400億大型語言模型(llm)的每秒生成推理能力增加10至20倍。公司方面表示,與gpu解決方案相比,生成推理的總擁有費用從10倍減少了20倍。
在物理設(shè)計方面,該芯片由6納米工程制成,核心之間通過bow接口實現(xiàn)相互連接,支持各種精度的浮點數(shù)據(jù)型。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
相關(guān)推薦
電子發(fā)燒友網(wǎng)報道(文/李彎彎)日前,英偉達(dá)正式宣布,在目前最強AI芯片H100的基礎(chǔ)上進(jìn)行一次大升級,發(fā)布新一代H200
發(fā)表于 11-15 01:15
?3108次閱讀
7月22日,國際媒體傳來消息,英偉達(dá)在近年來興起的生成式人工智能浪潮中脫穎而出,其高性能計算芯片如H100等廣受業(yè)界青睞,推動了公司營收與利
發(fā)表于 07-22 16:18
?465次閱讀
英偉達(dá)H200的算力非常強大。作為新一代AI芯片,H
發(fā)表于 03-07 16:15
?1624次閱讀
英偉達(dá)H200顯卡的具體價格尚未公布。根據(jù)上一代H100顯卡的價格范圍,預(yù)計H200的單片價格將超過40000美元。由于新
發(fā)表于 03-07 16:09
?2923次閱讀
英偉達(dá)H200和H100是兩款不同的AI芯片,它們各自具有獨特的特點和優(yōu)勢。以下是關(guān)于這兩款芯片
發(fā)表于 03-07 15:53
?3351次閱讀
根據(jù)預(yù)測,若H100的年利用率保持在61%,那么單臺設(shè)備每年將耗電3740千瓦小時左右。如果英偉達(dá)在2023年售出150萬塊H100,2024年再增加至200萬塊,那么到2024年底,
發(fā)表于 12-28 09:29
?1864次閱讀
爭奪剩余的市場而戰(zhàn)。然而,MI300X對英偉達(dá)的H100構(gòu)成了有力的競爭,甚至微軟的首席技術(shù)官最近都表示,他認(rèn)為AMD最終在這個市場上將非常有競爭力。
發(fā)表于 12-10 11:30
?832次閱讀
備受矚目的人工智能領(lǐng)域,英偉達(dá)提到,H200將帶來進(jìn)一步的性能飛躍。在Llama 2(700億參數(shù)的LLM)上的推理速度比H100快了一倍。
發(fā)表于 11-15 14:34
?1288次閱讀
報道中提到,英偉達(dá)的這三款A(yù)I芯片并非“改良版”,而是“縮水版”,其分別是HGX H20、L20 PCle和L2 PCle。用于AI模型訓(xùn)練的HGX
發(fā)表于 11-14 17:09
?815次閱讀
生成式AI火爆全球之后,英偉達(dá)的AI芯片一張難求,就在英偉達(dá)重量級選手H100 AI
發(fā)表于 11-14 16:45
?1336次閱讀
報告稱,雖然對被稱為“ai加速器芯片”的英偉達(dá)h100的最新版本的需求很大,但amd表示,將在第四季度推出本公司的競爭產(chǎn)品mi300,而英特
發(fā)表于 11-14 11:18
?736次閱讀
本周四,一些媒體首次報道了英偉達(dá)特供芯片的消息。報道稱,這三款新產(chǎn)品是在 H100 GPU 的基礎(chǔ)版本基礎(chǔ)上進(jìn)行修改的,采用的是最新架構(gòu),但
發(fā)表于 11-13 16:44
?770次閱讀
但據(jù)悉,三種新型AI芯片不是“改良型”,而是“縮小型”。用于ai模型教育的hgx h20的帶寬和計算速度是有限的。整體計算能力理論上比nvidia的h100 gpu芯片低80%左右。
發(fā)表于 11-13 09:41
?1442次閱讀
,GPT-5 的訓(xùn)練可能需要 3 萬到 5 萬張 H100,盡管之后被 Sam Altman 否認(rèn),也可窺見大模型訓(xùn)練對于算力的巨大需求。
發(fā)表于 10-29 09:48
?7837次閱讀
市場研究公司Omdia近日發(fā)布報告稱,預(yù)計英偉達(dá)二季度用于AI和高性能計算應(yīng)用的H100 GPU的出貨量超過了900噸。并且預(yù)計其在未來幾個
發(fā)表于 09-28 14:50
?1492次閱讀
評論