大模型是AI開(kāi)發(fā)的新范式,是人工智能邁向通用智能的里程碑:大模型指通過(guò)在大規(guī)模寬泛的數(shù)據(jù)上進(jìn)行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型,本質(zhì)依舊是基于統(tǒng)計(jì)學(xué)的語(yǔ)言模型,只不過(guò)“突現(xiàn)能力”賦予其強(qiáng)大的推理能力。大模型的訓(xùn)練和推理都會(huì)用到AI芯片的算力支持,在數(shù)據(jù)和算法相同情況下,算力是大模型發(fā)展的關(guān)鍵,是人工智能時(shí)代的“石油”。
1.算法:大模型——人工智能邁向通用智能的里程碑
大模型就是Foundation Model(基礎(chǔ)模型),指通過(guò)在大規(guī)模寬泛的數(shù)據(jù)上進(jìn)行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型。大模型兼具“大規(guī)?!焙汀邦A(yù)訓(xùn)練”兩種屬性,面向?qū)嶋H任務(wù)建模前需在海量通用數(shù)據(jù)上進(jìn)行預(yù)先訓(xùn)練,能大幅提升人工智能的泛化性、通用性、實(shí)用性,是人工智能邁向通用智能的里程碑技術(shù)。
大模型的本質(zhì)依舊是基于統(tǒng)計(jì)學(xué)的語(yǔ)言模型,“突現(xiàn)能力”賦予其強(qiáng)大的推理能力。當(dāng)前幾乎所有參數(shù)規(guī)模超過(guò)千億的大語(yǔ)言模型都采取GPT模式。近些年來(lái),大型語(yǔ)言模型研究的發(fā)展主要有三條技術(shù)路線:Bert模式、GPT模式以及混合模式。Bert模式適用于理解類、做理解類、某個(gè)場(chǎng)景的具體任務(wù),專而輕,2019年后基本上就沒(méi)有什么標(biāo)志性的新模型出現(xiàn);混合模式大部分則是由國(guó)內(nèi)采用;多數(shù)主流大語(yǔ)言模型走的還是GPT模式,2022年底在GPT-3.5的基礎(chǔ)上產(chǎn)生了ChatGPT,GPT技術(shù)路線愈發(fā)趨于繁榮。
GPT4作為人工智能領(lǐng)域最先進(jìn)的語(yǔ)言模型,在如下四個(gè)方面有較大的改進(jìn)。
1)多模態(tài):GPT4可以接受文本和圖像形式的prompt,在人類給定由散布的文本和圖像組成的輸入的情況下生成相應(yīng)的文本輸出(自然語(yǔ)言、代碼等);
2)多語(yǔ)言:在測(cè)試的26種語(yǔ)言的24種中,GPT-4優(yōu)于GPT-3.5和其他大語(yǔ)言模型(Chinchilla,PaLM)的英語(yǔ)語(yǔ)言性能;
3)“記憶力”:GPT-4的最大token數(shù)為32,768,即2^15,相當(dāng)于大約64,000個(gè)單詞或50頁(yè)的文字,遠(yuǎn)超GPT-3.5和舊版ChatGPT的4,096個(gè)token;
4)個(gè)性化:GPT-4比GPT-3.5更原生地集成了可控性,用戶將能夠?qū)ⅰ熬哂泄潭ㄈ唛L(zhǎng)、語(yǔ)氣和風(fēng)格的經(jīng)典ChatGPT個(gè)性”更改為更適合他們需要的東西。
2.算力:AI訓(xùn)練的基礎(chǔ)設(shè)施
大模型算力成本主要分為初始訓(xùn)練成本和后續(xù)運(yùn)營(yíng)成本。
初始訓(xùn)練:根據(jù)openAI官網(wǎng)數(shù)據(jù),每個(gè)token(token是服務(wù)端生成的一串字符串,以作客戶端進(jìn)行請(qǐng)求的一個(gè)令牌)的訓(xùn)練成本通常約為6N FLOPS(FLOPS指每秒浮點(diǎn)運(yùn)算次數(shù),理解為計(jì)算速度,可以用來(lái)衡量硬件的性能),其中N是LLM(大型語(yǔ)言模型)的參數(shù)數(shù)量。1750億參數(shù)模型的GPT-3是在3000億token上進(jìn)行訓(xùn)練的。根據(jù)openAI官網(wǎng)數(shù)據(jù),在訓(xùn)練過(guò)程中,模型的FLOPS利用率為46.2%。我們假設(shè)訓(xùn)練時(shí)間為1個(gè)月,采用英偉達(dá)A100進(jìn)行訓(xùn)練計(jì)算(峰值計(jì)算能力為312 TFLOPS FP16/FP32),則測(cè)算結(jié)果為需要843顆英偉達(dá)A100芯片。
運(yùn)營(yíng)(推理)成本:運(yùn)營(yíng)階段所需算力量與使用者數(shù)量緊密相關(guān)。根據(jù)openAI官網(wǎng)數(shù)據(jù),每個(gè)token的推理成本通常約為2N FLOPS,其中N是LLM的參數(shù)數(shù)量。根據(jù)openAI官網(wǎng)數(shù)據(jù),在訓(xùn)練過(guò)程中,模型的FLOPS利用率為21.3%。同樣采用英偉達(dá)A100進(jìn)行推理計(jì)算(峰值計(jì)算能力為312 TFLOPS FP16/FP32)。我們假設(shè)GPT-3每日5000萬(wàn)活躍用戶,每個(gè)用戶提10個(gè)問(wèn)題,每個(gè)問(wèn)題回答400字,則測(cè)算結(jié)果為需要16255顆英偉達(dá)A100芯片。
GPT-4為多模態(tài)大模型,對(duì)算力要求相比GPT-3會(huì)提升10倍。GPT-4的收費(fèi)是8kcontext為$0.03/1k token,是GPT-3.5-turbo收費(fèi)的15倍($0.002 / 1K tokens),因此我們推斷GPT-4的參數(shù)量是GPT-3的10倍以上,預(yù)計(jì)GPT-4的算力需求是GPT-3的10倍以上。
國(guó)產(chǎn)大模型有望帶動(dòng)國(guó)內(nèi)新增A100出貨量超200萬(wàn)顆,使得中國(guó)算力市場(chǎng)空間增加2倍以上。我們假設(shè)國(guó)內(nèi)百度,華為,阿里,騰訊,字節(jié)等前10位頭部大廠都會(huì)發(fā)布自己的大模型。
加速卡國(guó)產(chǎn)化率較低,美國(guó)制裁加速。根據(jù)IDC數(shù)據(jù),2021年,中國(guó)加速卡市場(chǎng)中Nvidia占據(jù)超過(guò)80%市場(chǎng)份額。
英偉達(dá)推出中國(guó)特供版A800,算力與A100基本一致。2022年11月8日,英偉達(dá)推出A800 GPU,將是面向中國(guó)客戶的A100 GPU的替代產(chǎn)品。A800符合美國(guó)政府關(guān)于減少出口管制的明確測(cè)試,并且不能通過(guò)編程來(lái)超過(guò)它。A800 GPU在算力上與A100保持一致,但增加了40GB顯存的PCIe版本,但在NVLink互聯(lián)速度上,A800相較于A100下降了200GB/s的速度。同時(shí),A800 80GB SXM版本目前已經(jīng)不支持16塊GPU的成套系統(tǒng),上限被限制在8塊??偟膩?lái)看,A800能夠滿足國(guó)內(nèi)市場(chǎng)需求,是A100的平替版本。
3.數(shù)據(jù):AI發(fā)展的驅(qū)動(dòng)力
數(shù)據(jù)資源是AI產(chǎn)業(yè)發(fā)展的重要驅(qū)動(dòng)力之一。數(shù)據(jù)集作為數(shù)據(jù)資源的核心組成部分,是指經(jīng)過(guò)專業(yè)化設(shè)計(jì)、采集、清洗、標(biāo)注和管理,生產(chǎn)出來(lái)的專供人工智能算法模型訓(xùn)練的數(shù)據(jù)。
大模型的訓(xùn)練數(shù)據(jù)主要來(lái)自于維基百科、書(shū)籍、期刊、Reddit社交新聞?wù)军c(diǎn)、Common Crawl和其他數(shù)據(jù)集。OpenAI雖沒(méi)有直接公開(kāi)ChatGPT的相關(guān)訓(xùn)練數(shù)據(jù)來(lái)源和細(xì)節(jié),但可以從近些年業(yè)界公布過(guò)的其他大模型的訓(xùn)練數(shù)據(jù)推測(cè)出ChatGPT的訓(xùn)練數(shù)據(jù)來(lái)源,近幾年大模型訓(xùn)練采用的數(shù)據(jù)來(lái)源基本類似。國(guó)內(nèi)大模型的數(shù)據(jù)來(lái)源和自身優(yōu)勢(shì)業(yè)務(wù)有較強(qiáng)相關(guān)性,如百度文心一言大模型的來(lái)源主要基于互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù),包括網(wǎng)頁(yè)、搜索、圖片、語(yǔ)音日均調(diào)用數(shù)據(jù),以及知識(shí)圖譜等。
GPT4依靠大量多模態(tài)數(shù)據(jù)訓(xùn)練。GPT4是一個(gè)大規(guī)模的多模態(tài)模型,相比于此前的語(yǔ)言生成模型,數(shù)據(jù)方面最大的改進(jìn)之一就是突破純文字的模態(tài),增加了圖像模態(tài)的輸入,具有強(qiáng)大的圖像理解能力,即在預(yù)練習(xí)階段輸入任意順序的文本和圖畫(huà),圖畫(huà)經(jīng)過(guò)Vision Encoder向量化、文本經(jīng)過(guò)普通transformer向量化,兩者組成多模的句向量,練習(xí)目標(biāo)仍為next-word generation。根據(jù)騰訊云開(kāi)發(fā)者推測(cè),GPT4訓(xùn)練數(shù)據(jù)中還額外增加了包含正誤數(shù)學(xué)問(wèn)題、強(qiáng)弱推理、矛盾一致陳述及各種意識(shí)形態(tài)的數(shù)據(jù),數(shù)據(jù)量可能是GPT3.5(45TB數(shù)據(jù))的190倍。
4.應(yīng)用:AI的星辰大海
AI時(shí)代已經(jīng)來(lái)臨,最大的市場(chǎng)將是被AI賦能的下游應(yīng)用市場(chǎng)。如果說(shuō)AI是第四次工業(yè)革命,那么正如前三次工業(yè)革命,最大的市場(chǎng)將是被AI賦能的下游應(yīng)用市場(chǎng)。本輪革命性的產(chǎn)品ChatGPT將極大地提升內(nèi)容生產(chǎn)力,率先落地于AIGC領(lǐng)域,打開(kāi)其產(chǎn)業(yè)的想象邊界。文本生成、代碼生成、圖像生成以及智能客服將是能直接賦予給下游行業(yè)的能力,打開(kāi)其產(chǎn)業(yè)想象的邊界。
最直接的應(yīng)用在內(nèi)容創(chuàng)作領(lǐng)域。ChatGPT的功能核心是基于文本的理解和分析,與內(nèi)容創(chuàng)作行業(yè)趨同。ChatGPT可用于創(chuàng)建新聞文章、博客文章甚至小說(shuō)等內(nèi)容,它可以生成原創(chuàng)且連貫的內(nèi)容,為內(nèi)容創(chuàng)作者節(jié)省時(shí)間和資源。整體生成式AI已用于創(chuàng)建圖像,視頻,3D對(duì)象,Skyboxes等。這大大節(jié)省了創(chuàng)作時(shí)間,同時(shí)帶來(lái)了多樣的創(chuàng)作風(fēng)格。
ChatGPT解決了機(jī)器人的痛點(diǎn)。ChatGPT開(kāi)啟了一種新的機(jī)器人范式,允許潛在的非技術(shù)型用戶參與到回路之中,ChatGPT可以為機(jī)器人場(chǎng)景生成代碼。在沒(méi)有任何微調(diào)的情況下,利用LLM的知識(shí)來(lái)控制不同的機(jī)器人動(dòng)作,以完成各種任務(wù)。ChatGPT大大改善了機(jī)器人對(duì)指令的理解,并且不同于以前單一、明確的任務(wù),機(jī)器人可以執(zhí)行復(fù)合型的任務(wù)。
ChatGPT在芯片設(shè)計(jì)領(lǐng)域的應(yīng)用。傳統(tǒng)的芯片設(shè)計(jì)強(qiáng)烈依賴模板而忽視了大量可以復(fù)用的優(yōu)秀數(shù)據(jù),同時(shí)數(shù)據(jù)量大導(dǎo)致ChatGPT泛化性更好。此外芯片硬件模塊相對(duì)單一,有一些成熟范式,芯片設(shè)計(jì)代碼復(fù)雜但人工不足,這些都與ChatGPT有很好的互補(bǔ)。AI使得芯片開(kāi)發(fā)成本降低、周期縮短,具備足夠多訓(xùn)練數(shù)據(jù)和AI能力的芯片設(shè)計(jì)公司競(jìng)爭(zhēng)優(yōu)勢(shì)可能會(huì)擴(kuò)大。
審核編輯 :李倩
-
算法
+關(guān)注
關(guān)注
23文章
4552瀏覽量
92020 -
人工智能
+關(guān)注
關(guān)注
1787文章
46060瀏覽量
234983 -
ai技術(shù)
+關(guān)注
關(guān)注
1文章
1243瀏覽量
24003
原文標(biāo)題:2023年AI技術(shù)科普:算法、算力、數(shù)據(jù)及應(yīng)用
文章出處:【微信號(hào):架構(gòu)師技術(shù)聯(lián)盟,微信公眾號(hào):架構(gòu)師技術(shù)聯(lián)盟】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論