ChatGPT帶動(dòng)下的AI產(chǎn)業(yè)鏈發(fā)展趨勢(shì)

新工業(yè)革命的主導(dǎo)技術(shù)和產(chǎn)業(yè)不再呈現(xiàn)單一性特征，很有可能演變?yōu)橛啥鄠€(gè)交叉技術(shù)組成的技術(shù)簇群，不斷同步、掣肘、疊加和“糾纏”。回看人工智能產(chǎn)業(yè)的發(fā)展歷史，每一波大發(fā)展都是與算力提升和數(shù)據(jù)爆發(fā)相結(jié)合。軟件與算力供需的失衡、能力的追趕不斷催生創(chuàng)新技術(shù)需求，一旦關(guān)鍵技術(shù)迎來(lái)突破，將會(huì)帶動(dòng)整個(gè)產(chǎn)業(yè)群的發(fā)展。

受制于摩爾定律，AI 訓(xùn)練成本高企，當(dāng)前硬件算力的成本和供給遠(yuǎn)無(wú)法滿足日益增長(zhǎng)的內(nèi)存和計(jì)算需求。

不僅僅是語(yǔ)言大模型參數(shù)規(guī)模呈指數(shù)增長(zhǎng)。LLM 將更大范圍更深度的人類(lèi)活動(dòng)信息直接轉(zhuǎn)化為可用數(shù)據(jù)，引發(fā)全球數(shù)據(jù)量激增。根據(jù) Google 統(tǒng)計(jì)，DNN 的內(nèi)存和計(jì)算需求每年約增長(zhǎng) 1.5 倍(2016-2020 內(nèi)存增長(zhǎng) 0.97-2.16，算力增長(zhǎng) 1.26- 2.16)；而算力供給卻達(dá)不到。從 2016 至 2023 年，英偉達(dá) GPU 單位美元的算力增長(zhǎng) 7.5 倍(P100 4 GFLOPS/$ 到 H100 30 GFLOPS/$)，GPU 算力提升約 69 倍(P100 22T FLOPS 到 H100 1513T FLOPS)，GPU 效率提升約 59 倍(P100 73.3 TFLOPS/kw 到 H100 4322 TFLOPS/kw)。

雖然 GPU 在各種效率有明顯提升，長(zhǎng)期來(lái)看，算力需求每年約增長(zhǎng) 1.5 倍存在一定的不可持續(xù)性，我們預(yù)計(jì)在最好情況下英偉達(dá) GPU的算力供給每年增長(zhǎng) 1 倍，按一般技術(shù)滲透規(guī)律，算力層面還需要一定程度的優(yōu)化，否則很難和應(yīng)用形成較好的正反饋效應(yīng)，從而提升行業(yè)的滲透率。如何在 AI 算力上實(shí)現(xiàn)技術(shù)突破、降低成本、擴(kuò)大規(guī)模，提升 AI 訓(xùn)練的邊際效益，將成為技術(shù)創(chuàng)新的焦點(diǎn)。

催生的算力創(chuàng)新需求包括：

芯片級(jí)優(yōu)化。

過(guò)去十年里芯片性能的提升，超過(guò) 60% 直接或間接受益于半導(dǎo)體工藝的提升，而只有17%來(lái)自于芯片架構(gòu)的升級(jí)；而摩爾定律放緩，每 100m 柵極的成本將持續(xù)增加(比如從 28nm 的 1.3 美元提升到 7nm 的 1.52 美元)，主要由制造這些芯片的復(fù)雜性增加所驅(qū)動(dòng)——即制造步驟的增加，遠(yuǎn)遠(yuǎn)達(dá)不到經(jīng)濟(jì)效益。同時(shí)，制造難度增加，也將增加良率帶來(lái)的損失，需要通過(guò)將大芯片分成更小的 Chiplet 提高產(chǎn)量/良率，降低制造成本。

數(shù)據(jù)中心架構(gòu)優(yōu)化。

據(jù)英偉達(dá)估計(jì)，到 2030 年數(shù)據(jù)中心能耗占全社會(huì)能耗 3-13%，而數(shù)據(jù)中心架構(gòu)也在演進(jìn)中，從原先的 CPU 作為單一算力來(lái)源，引入軟件架構(gòu)定義，再到增加 GPU、DPU，GPU、DPU 的引入使得數(shù)據(jù)中心三種計(jì)算芯片分工明確，從而提升整個(gè)數(shù)據(jù)中心的效率。

機(jī)器學(xué)習(xí)分布式框架。

大模型大算力一定需要多機(jī)多卡訓(xùn)練，以 ChatGPT 為例，訓(xùn)練一次需要 3.14×E23 FLOPS 算力。但從訓(xùn)練到推理的過(guò)程，模型參數(shù)數(shù)量不變，分布式框架加速優(yōu)化的幫助顯著。以英偉達(dá) A100為例，A100早期訓(xùn)練效率只有 20%，經(jīng)過(guò)分布式框架的優(yōu)化，效率可以提升 30%~40%，整體效率提升至 50%~100%。

以 OpenAI 、微軟等為代表的發(fā)達(dá)國(guó)家巨頭對(duì)科技創(chuàng)新和產(chǎn)業(yè)升級(jí)新一輪密集投入的效果逐步顯現(xiàn)，科技革命和工業(yè)革命下新一輪“技術(shù)—經(jīng)濟(jì)范式”變遷也隨之逐漸明朗。科技工業(yè)革命必然伴隨理念、知識(shí)、制度，甚至社會(huì)價(jià)值觀和國(guó)際話語(yǔ)權(quán)的深刻變革，引發(fā)新一輪的國(guó)際和經(jīng)濟(jì)競(jìng)爭(zhēng)。ChatGPT 的出現(xiàn)意味著 AI 產(chǎn)業(yè)水平化分工的條件基本成熟，世界上并不需要很多個(gè)大模型，但大模型參數(shù)作為社會(huì)底層知識(shí)、學(xué)習(xí)資料的承載，具有極高的社會(huì)、經(jīng)濟(jì)和文化價(jià)值。基于全球政治環(huán)境、代表中國(guó)中大型企業(yè)私有化部署的需求、數(shù)據(jù)跨境的合規(guī)風(fēng)險(xiǎn)和安全考慮，我們認(rèn)為，中國(guó)一定會(huì)有自己的 LLM (大模型)。

將構(gòu)建中國(guó)自主的大模型視為在 AI 領(lǐng)域全方位軍備競(jìng)賽并不為過(guò)。這需要超大規(guī)模智算平臺(tái)對(duì)芯片、系統(tǒng)、網(wǎng)絡(luò)、存儲(chǔ)到數(shù)據(jù)進(jìn)行全盤(pán)系統(tǒng)優(yōu)化，需要一個(gè)能自主掌控更多環(huán)節(jié)從而實(shí)現(xiàn)全局調(diào)優(yōu)的方案。雖然目前我們?cè)谒懔?、高質(zhì)量數(shù)據(jù)集、頂尖人才資源、應(yīng)用生態(tài)方面與海外存在較大差距，但以百度、騰訊、阿里為代表的中國(guó)科技公司們?cè)谶@個(gè)技術(shù)周期里所生長(zhǎng)出來(lái)云、數(shù)據(jù)、芯片和復(fù)雜系統(tǒng)，已初步擁有了參與這場(chǎng) ChatGPT 競(jìng)爭(zhēng)的“入場(chǎng)券”。即使目前各環(huán)節(jié)依然存在不小的代際差，但我們深信基于多年積累的建模、訓(xùn)練和調(diào)參，加大長(zhǎng)期的資本和人才投入，深度融合的數(shù)據(jù)和場(chǎng)景，底層訓(xùn)練數(shù)據(jù)，我們自主獨(dú)立的大模型依然存在商業(yè)閉環(huán)的機(jī)會(huì)。

如何追趕？核心能力在于工程化能力和應(yīng)用規(guī)模。作為系統(tǒng)工程，AI 需要依靠龐大的團(tuán)隊(duì)支撐。類(lèi)比搜索引擎公司，搜索引擎壁壘不在于算法本身，而在于工程化的需求，例如谷歌搜索引擎、頭條推薦，都需要強(qiáng)大的工程能力。OpenAI 的 GPT-1 到 GPT-3 再到現(xiàn)在的 ChatGPT ，模型結(jié)構(gòu)沒(méi)有發(fā)生任何變化(transformer decoder)，單一產(chǎn)品仍需要幾百名正式員工、上千名標(biāo)注員打磨三年——AI 工程化恰是中國(guó)的機(jī)會(huì)。同時(shí)，中國(guó)基本上所有的互聯(lián)網(wǎng)公司都是 AI 公司，中國(guó)的規(guī)模效應(yīng)，有望讓大模型迅速普及化的改進(jìn)閉環(huán)，成為中國(guó)企業(yè)迎頭追趕的機(jī)會(huì)。

人工智能有助于經(jīng)濟(jì)的自動(dòng)化、智能化，AI 大模型的最終目標(biāo)是 AGI(通用人工智能)。AI 大模型對(duì)人類(lèi)傳達(dá)信息的載體有了更好的學(xué)習(xí)，在此基礎(chǔ)上各個(gè)媒介之間的互通成為可能。當(dāng)這一目標(biāo)實(shí)現(xiàn)的時(shí)候，人類(lèi)各種經(jīng)濟(jì)活動(dòng)產(chǎn)生的信息的生產(chǎn)、傳輸、分發(fā)、消費(fèi)可實(shí)現(xiàn)編程化，萬(wàn)物智能成本無(wú)限降低，人類(lèi)的生產(chǎn)力與創(chuàng)造力得到進(jìn)一步的解放。

相信長(zhǎng)期的力量。上海人工智能基金秉持長(zhǎng)期主義，助力人工智能從業(yè)者們這場(chǎng)系統(tǒng)戰(zhàn)、持久戰(zhàn)中保持定力。上海人工智能產(chǎn)業(yè)基金是經(jīng)上海市政府批準(zhǔn)同意，由國(guó)盛集團(tuán)、臨港集團(tuán)聯(lián)合市區(qū)兩級(jí)財(cái)政及市屬大型產(chǎn)業(yè)集團(tuán)共同發(fā)起，由上海臨港科創(chuàng)投資管理有限公司擔(dān)任基金管理人，旨在貫徹落實(shí)世界人工智能大會(huì)成果，加快推進(jìn)上海人工智能高質(zhì)量發(fā)展?；鹁劢谷斯ぶ悄芎诵募夹g(shù)和關(guān)鍵應(yīng)用，同時(shí)關(guān)注優(yōu)秀創(chuàng)業(yè)者陪護(hù)和生態(tài)資源的持續(xù)積累，致力于打造人工智能產(chǎn)業(yè)發(fā)展各類(lèi)要素聯(lián)通的“一站式”平臺(tái)，助力建設(shè)人工智能“上海高地”，同時(shí)為產(chǎn)業(yè)升級(jí)變革創(chuàng)造長(zhǎng)期價(jià)值。

END

（添加請(qǐng)備注公司名和職稱(chēng)）

直播預(yù)告|TVM新增算子賽題講解及在Imagination NNA上完成飛槳3D模型部署

Imagination Technologies是一家總部位于英國(guó)的公司，致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車(chē)、家庭和工作 場(chǎng)所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車(chē)電子、圖形圖像開(kāi)發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！