ChatGPT需要怎樣的芯片？
最近，以ChatGPT為首的生成類模型已經(jīng)成為了人工智能的新熱點，硅谷的微軟、谷歌等都紛紛大舉投資此類技術(shù)（微軟100億美元入股ChatGPT背后的OpenAI，谷歌也于近日發(fā)布了自研的BARD模型），而在中國以百度等為代表的互聯(lián)網(wǎng)科技公司也紛紛表示正在研發(fā)此類技術(shù)并且將于近期上線。以ChatGPT為代表的生成類模型有一個共同的特點，就是使用了海量數(shù)據(jù)做預(yù)訓(xùn)練，并且往往會搭配一個較為強大的語言模型。語言模型主要的功能是從海量的現(xiàn)有語料庫中進行學(xué)習(xí)，在經(jīng)過學(xué)習(xí)之后可以理解用戶的語言指令，或者更進一步根據(jù)用戶的指令去生成相關(guān)的文字輸出。生成類模型大致可以分成兩大類，一類是語言類生成模型，另一類是圖像類生成模型。語言類生成模型以ChatGPT為代表，如前所述其語言模型不僅可以學(xué)習(xí)理解用戶指令的意義（例如，“寫一首詩，李白風(fēng)格的”），而且在經(jīng)過海量數(shù)據(jù)訓(xùn)練之后，還能夠根據(jù)用戶的指令生成相關(guān)的文字（在上例中就是寫一首李白風(fēng)格的詩）。這意味著ChatGPT需要有一個足夠大的語言模型（Large Language Model，LLM）來理解用戶的語言，并且能有高質(zhì)量的語言輸出——例如該模型必須能理解如何生成詩歌，如何生成李白風(fēng)格的詩歌等等。這也意味著語言類生成式人工智能中的大語言模型需要非常多的參數(shù)，才能完成這類復(fù)雜的學(xué)習(xí)并且記住如此多的信息。以ChatGPT為例，其參數(shù)量高達1750億（使用標(biāo)準(zhǔn)浮點數(shù)的話會占用700GB的存儲空間），其語言模型之“大”可見一斑。
生成類模型對于芯片的需求如前所述，以ChatGPT為代表生成類模型需要在海量的訓(xùn)練數(shù)據(jù)中進行學(xué)習(xí)，才能實現(xiàn)高質(zhì)量的生成輸出。為了支持高效率訓(xùn)練和推理，生成類模型對于相關(guān)芯片也有自己的需求。首先就是對于分布式計算的需求。ChatGPT這類語言類生成模型的參數(shù)量高達千億，幾乎不可能使用單機訓(xùn)練和推理，而必須大量使用分布式計算。在進行分布式計算時，對于機器之間的數(shù)據(jù)互聯(lián)帶寬，以及計算芯片對于這類分布式計算（例如RDMA）就有了很大的需求，因為很多時候任務(wù)的瓶頸可能并不在計算，而是在數(shù)據(jù)互聯(lián)上面，尤其是在此類大規(guī)模分布式計算中，芯片對于分布式計算的高效率支持更加成為了關(guān)鍵。其次是內(nèi)存容量和帶寬。雖然對于語言類生成模型分布式訓(xùn)練和推理不可避免，但是每個芯片的本地內(nèi)存和帶寬也將很大程度上決定單個芯片的執(zhí)行效率（因為每個芯片的內(nèi)存都被使用到了極限）。對于圖像類生成模型來說，可以把模型（20GB左右）都放在芯片的內(nèi)存中，但是隨著未來圖像生成類模型的進一步演進，它對于內(nèi)存的需求可能也會進一步提升。在這個角度來看，以HBM為代表的超高帶寬內(nèi)存技術(shù)將會成為相關(guān)加速芯片的必然選擇，同時生成類模型也會加速HBM內(nèi)存進一步增大容量和增大帶寬。除了HBM之外，CXL等新的存儲技術(shù)加上軟件的優(yōu)化也有將在這類應(yīng)用中增加本地存儲的容量和性能，估計會從生成類模型的崛起中獲得更多的工業(yè)界采用。最后是計算，無論是語言類還是圖像類生成類模型的計算需求都很大，而圖像類生成模型隨著生成分辨率越來越高以及走向視頻應(yīng)用，對于算力的需求可能會大大提升——目前的主流圖像生成模型的計算量在20 TFlops左右，而隨著走向高分辨率和圖像，100-1000 TFLOPS的算力需求很有可能會是標(biāo)準(zhǔn)。
GPU和新AI芯片，誰更有機會生成式模型對于芯片有了新的需求，對于GPU（以Nvidia和AMD為代表）和新AI芯片（以Habana，GraphCore為代表），誰更有機會能抓住這個新的需求和市場？首先，從語言類生成模型來看，由于參數(shù)量巨大，需要很好的分布式計算支持，因此目前在這類生態(tài)上已經(jīng)有完整布局的GPU廠商更有優(yōu)勢。這是一個系統(tǒng)工程問題，需要完整的軟件和硬件解決方案，而在這個方面，Nvidia已經(jīng)結(jié)合其GPU推出了Triton解決方案。Triton支持分布式訓(xùn)練和分布式推理，可以把一個模型分成多個部分到不同的GPU上去處理，從而解決參數(shù)量過大一個GPU的主存無法容納的問題。未來無論是直接使用Triton，還是在Triton的基礎(chǔ)上做進一步開發(fā)，都是擁有完整生態(tài)的GPU更加方便一點。從計算上來看，由于語言類生成模型的主要計算就是矩陣計算，而矩陣計算本身就是GPU的強項，因此從這一點來看新的AI芯片相比GPU的優(yōu)勢并不明顯。從圖像類生成模型來看，這類模型的參數(shù)量雖然也很大但是比語言類生成模型要小一到兩個數(shù)量級，此外其計算中還是會大量用到卷積計算，因此在推理應(yīng)用中，如果能做非常好的優(yōu)化的話，AI芯片可能有一定機會。這里的優(yōu)化包括大量的片上存儲來容納參數(shù)和中間計算結(jié)果，對于卷積以及矩陣運算的高效支持等。總體來說，目前這一代AI芯片在設(shè)計的時候主要針對的是更小的模型（參數(shù)量在億級別，計算量在1TOPS級別），而生成模型的需求相對而言還是比原來的設(shè)計目標(biāo)要大不少。GPU在設(shè)計時以效率為代價換取了更高的靈活度，而AI芯片設(shè)計則是反其道而行之，追求目標(biāo)應(yīng)用的效率，因此我們認(rèn)為在未來一兩年內(nèi)，GPU仍將會在此類生成式模型加速中獨占鰲頭，但是隨著生成式模型設(shè)計更加穩(wěn)定，AI芯片設(shè)計有時間能追趕上生成式模型的迭代后，AI芯片有機會從效率的角度在生成式模型領(lǐng)域超越GPU。
入群請加小編微信：eetrend89
Imagination Technologies是一家總部位于英國的公司，致力于研發(fā)芯片和軟件知識產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！
生成類模型對于芯片的需求如前所述，以ChatGPT為代表生成類模型需要在海量的訓(xùn)練數(shù)據(jù)中進行學(xué)習(xí)，才能實現(xiàn)高質(zhì)量的生成輸出。為了支持高效率訓(xùn)練和推理，生成類模型對于相關(guān)芯片也有自己的需求。首先就是對于分布式計算的需求。ChatGPT這類語言類生成模型的參數(shù)量高達千億，幾乎不可能使用單機訓(xùn)練和推理，而必須大量使用分布式計算。在進行分布式計算時，對于機器之間的數(shù)據(jù)互聯(lián)帶寬，以及計算芯片對于這類分布式計算（例如RDMA）就有了很大的需求，因為很多時候任務(wù)的瓶頸可能并不在計算，而是在數(shù)據(jù)互聯(lián)上面，尤其是在此類大規(guī)模分布式計算中，芯片對于分布式計算的高效率支持更加成為了關(guān)鍵。其次是內(nèi)存容量和帶寬。雖然對于語言類生成模型分布式訓(xùn)練和推理不可避免，但是每個芯片的本地內(nèi)存和帶寬也將很大程度上決定單個芯片的執(zhí)行效率（因為每個芯片的內(nèi)存都被使用到了極限）。對于圖像類生成模型來說，可以把模型（20GB左右）都放在芯片的內(nèi)存中，但是隨著未來圖像生成類模型的進一步演進，它對于內(nèi)存的需求可能也會進一步提升。在這個角度來看，以HBM為代表的超高帶寬內(nèi)存技術(shù)將會成為相關(guān)加速芯片的必然選擇，同時生成類模型也會加速HBM內(nèi)存進一步增大容量和增大帶寬。除了HBM之外，CXL等新的存儲技術(shù)加上軟件的優(yōu)化也有將在這類應(yīng)用中增加本地存儲的容量和性能，估計會從生成類模型的崛起中獲得更多的工業(yè)界采用。最后是計算，無論是語言類還是圖像類生成類模型的計算需求都很大，而圖像類生成模型隨著生成分辨率越來越高以及走向視頻應(yīng)用，對于算力的需求可能會大大提升——目前的主流圖像生成模型的計算量在20 TFlops左右，而隨著走向高分辨率和圖像，100-1000 TFLOPS的算力需求很有可能會是標(biāo)準(zhǔn)。
綜上所述，我們認(rèn)為生成類模型對于芯片的需求包括了分布式計算，存儲以及計算，可謂是涉及了芯片設(shè)計的方方面面，而更重要的是如何把這些需求都以合理的方法結(jié)合到一起來確保某一個單獨的方面不會成為瓶頸，這也將會成為一個芯片設(shè)計系統(tǒng)工程的問題。
GPU和新AI芯片，誰更有機會生成式模型對于芯片有了新的需求，對于GPU（以Nvidia和AMD為代表）和新AI芯片（以Habana，GraphCore為代表），誰更有機會能抓住這個新的需求和市場？首先，從語言類生成模型來看，由于參數(shù)量巨大，需要很好的分布式計算支持，因此目前在這類生態(tài)上已經(jīng)有完整布局的GPU廠商更有優(yōu)勢。這是一個系統(tǒng)工程問題，需要完整的軟件和硬件解決方案，而在這個方面，Nvidia已經(jīng)結(jié)合其GPU推出了Triton解決方案。Triton支持分布式訓(xùn)練和分布式推理，可以把一個模型分成多個部分到不同的GPU上去處理，從而解決參數(shù)量過大一個GPU的主存無法容納的問題。未來無論是直接使用Triton，還是在Triton的基礎(chǔ)上做進一步開發(fā)，都是擁有完整生態(tài)的GPU更加方便一點。從計算上來看，由于語言類生成模型的主要計算就是矩陣計算，而矩陣計算本身就是GPU的強項，因此從這一點來看新的AI芯片相比GPU的優(yōu)勢并不明顯。從圖像類生成模型來看，這類模型的參數(shù)量雖然也很大但是比語言類生成模型要小一到兩個數(shù)量級，此外其計算中還是會大量用到卷積計算，因此在推理應(yīng)用中，如果能做非常好的優(yōu)化的話，AI芯片可能有一定機會。這里的優(yōu)化包括大量的片上存儲來容納參數(shù)和中間計算結(jié)果，對于卷積以及矩陣運算的高效支持等。總體來說，目前這一代AI芯片在設(shè)計的時候主要針對的是更小的模型（參數(shù)量在億級別，計算量在1TOPS級別），而生成模型的需求相對而言還是比原來的設(shè)計目標(biāo)要大不少。GPU在設(shè)計時以效率為代價換取了更高的靈活度，而AI芯片設(shè)計則是反其道而行之，追求目標(biāo)應(yīng)用的效率，因此我們認(rèn)為在未來一兩年內(nèi)，GPU仍將會在此類生成式模型加速中獨占鰲頭，但是隨著生成式模型設(shè)計更加穩(wěn)定，AI芯片設(shè)計有時間能追趕上生成式模型的迭代后，AI芯片有機會從效率的角度在生成式模型領(lǐng)域超越GPU。
END
歡迎加入Imagination GPU與人工智能交流2群入群請加小編微信：eetrend89（添加請備注公司名和職稱）
推薦閱讀 對話Imagination中國區(qū)董事長：以GPU為支點加強軟硬件協(xié)同，助力數(shù)字化轉(zhuǎn)型【有獎下載】IMG DXT GPU 讓光線追蹤觸手可及
Imagination Technologies是一家總部位于英國的公司，致力于研發(fā)芯片和軟件知識產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！原文標(biāo)題：ChatGPT需要怎樣的芯片？
文章出處：【微信公眾號：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
imagination
+關(guān)注
關(guān)注
1文章
567瀏覽量
61251
原文標(biāo)題：ChatGPT需要怎樣的芯片？
文章出處：【微信號：Imgtec，微信公眾號：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
OpenAI推出ChatGPT搜索功能
近日，OpenAI再次邁出了重要的一步，為其廣受好評的ChatGPT平臺添加了一項全新的搜索功能。 據(jù)悉，這項被命名為“ChatGPT搜索”的新功能，將為用戶帶來前所未有的搜索體驗。以往，當(dāng)用戶需要
ChatGPT：怎樣打造智能客服體驗的重要工具？
ChatGPT作為智能對話生成模型，可以幫助打造智能客服體驗的重要工具。以下是一些方法和步驟：1.數(shù)據(jù)收集和準(zhǔn)備：收集和整理與客服相關(guān)的數(shù)據(jù)，包括常見問題、回答示例、客戶對話記錄等。這將用于訓(xùn)練
怎樣搭建基于 ChatGPT 的聊天系統(tǒng)
理解ChatGPT和API ChatGPT是由OpenAI開發(fā)的一種先進的自然語言處理模型，它能夠理解和生成自然語言文本。要使用ChatGPT，你需要訪問其API。OpenAI提供了
ChatGPT 適合哪些行業(yè)
ChatGPT 是一種基于人工智能的自然語言處理技術(shù)，它能夠理解和生成人類語言。這種技術(shù)在多個行業(yè)中都有廣泛的應(yīng)用潛力。以下是一些ChatGPT特別適合的行業(yè)，以及它在這些行業(yè)中可能的應(yīng)用方式
用launch pad燒錄chatgpt_demo項目會有api key報錯的原因？
我用launch pad燒錄chatgpt_demo項目問題會有api key報錯；請問用launch pad要如何設(shè)置api key和調(diào)試？還是只能通過idf?
發(fā)表于 06-27 07:59
使用espbox lite進行chatgpt_demo的燒錄報錯是什么原因？
我使用espbox lite進行chatgpt_demo的燒錄
我的idf是v5.1release版本的，espbox是master版本的
在編譯時似乎沒有什么問題
在燒錄時報錯
請問這是什么原因
發(fā)表于 06-11 08:45
OpenAI 深夜拋出王炸 “ChatGPT- 4o”， “她” 來了
當(dāng)?shù)貢r間5月13日OpenAI推出ChatGPT-4o，代表了人工智能向前邁出的一大步。在GPT-4turbo的強大基礎(chǔ)上，這種迭代擁有顯著的改進。在發(fā)布會的演示中，OpenAI展示該模型的高級
發(fā)表于 05-27 15:43
【Longan Pi 3H 開發(fā)板試用連載體驗】給ChatGPT裝上眼睛，還可以語音對話
感謝發(fā)燒友論壇和Sipeed舉辦的本次活動，讓我有機會可以體驗到Longan Pi 3H這塊超迷你的H618開發(fā)板。我打算用這塊板子作為服務(wù)器，實現(xiàn)一個可以對話交互并且具備可視能力的ChatGPT
發(fā)表于 04-12 12:41
在FPGA設(shè)計中是否可以應(yīng)用ChatGPT生成想要的程序呢
當(dāng)下AI人工智能崛起，很多開發(fā)領(lǐng)域都可看到ChatGPT的身影，F(xiàn)PGA設(shè)計中，是否也可以用ChatGPT輔助設(shè)計呢？
發(fā)表于 03-28 23:41
【國產(chǎn)FPGA+OMAPL138開發(fā)板體驗】（原創(chuàng)）6.FPGA連接ChatGPT 4
: ChatGPT 4說：\'優(yōu)化硬件設(shè)計需要考慮很多因素，如功耗、性能、成本等。你可以從改進算法、優(yōu)化數(shù)據(jù)路徑、減少冗余操作等方面入手。\'\");
// 7. 關(guān)閉與ChatGPT 4服務(wù)器的連接
發(fā)表于 02-14 21:58
芯科技，解密ChatGPT暢聊之算力芯片
的GPU服務(wù)器，尤其是英偉達的A100 GPU，提供了強大而精確的計算能力。ChatGPT的功能遠(yuǎn)超日常對話，它能夠?qū)W習(xí)、理解并生成人類般的文本，是人工智能領(lǐng)域的一個重要突破。但其真正力量的源泉，是背后那些不斷工作的算力芯片，它們讓Ch
ChatGPT原理 ChatGPT模型訓(xùn)練 chatgpt注冊流程相關(guān)簡介
ChatGPT注冊沒有外國手機號驗證怎么辦？ ChatGPT作為近期火爆網(wǎng)絡(luò)的AI項目，受到了前所未有的關(guān)注。我們可以與AI機器人實時聊天，獲得問題的答案。但受ChatGPT服務(wù)器及相關(guān)政策
ChatGPT申請api key 需要國外手機號驗證怎么辦?
申請OpenAI api key 需要驗證號碼 之前ChatGPT注冊需要驗證手機號，而且必須是國外的手機號，這一步阻擋了一大部分想注冊的人?，F(xiàn)在注冊只需要驗證郵箱就可以了，但是你要申
不到1分鐘開發(fā)一個GPT應(yīng)用！各路大神瘋狂整活，網(wǎng)友：ChatGPT就是新iPhone
的能力仍然是不可替代的。
此外，ChatGPT等語言模型的應(yīng)用也需要大量的數(shù)據(jù)和算力支持，以及專業(yè)的技術(shù)人員進行開發(fā)和維護。因此，雖然ChatGPT等語言模型在某些方面具有一定的優(yōu)勢，但它們并不能完全取代
發(fā)表于 11-19 12:06
工商網(wǎng)監(jiān)
評論