步步向前，曙光已現(xiàn)：百度的大模型之路

大模型，是今年全球科技界最火熱，最耀眼的關(guān)鍵詞。在幾個(gè)月的狂飆突進(jìn)中，全球主要科技公司紛紛加入了大模型領(lǐng)域。中國(guó)AI產(chǎn)業(yè)更是開啟了被戲稱為“百模大戰(zhàn)”的盛況。

但喧囂與熱鬧之后，新的問(wèn)題也隨之而來(lái)：大模型的力量究竟能否持續(xù)發(fā)展？在擁有了許多大模型之后，我們又該做些什么？

簡(jiǎn)單來(lái)說(shuō)，面向機(jī)遇與挑戰(zhàn)并重的大模型時(shí)代，中國(guó)AI需要從拼參數(shù)、拼數(shù)量的“短期主義”中走出來(lái)，走向長(zhǎng)期發(fā)展與生態(tài)凝聚。

有大模型并不難，難的是讓大模型走向遠(yuǎn)方。

8月16日，由深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主辦的WAVE SUMMIT深度學(xué)習(xí)開發(fā)者大會(huì)2023在北京舉行。百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰表示，大語(yǔ)言模型具備了理解、生成、邏輯、記憶等人工智能的核心基礎(chǔ)能力，為通用人工智能帶來(lái)曙光。

如果要總結(jié)這一屆WAVE SUMMIT，那么在我看來(lái)，最重要的價(jià)值是百度展示了大模型如何走向“長(zhǎng)期主義”發(fā)展模式。通過(guò)文心加飛槳，為產(chǎn)業(yè)伙伴與開發(fā)者構(gòu)建可持續(xù)發(fā)展的AI基礎(chǔ)設(shè)施，為產(chǎn)業(yè)智能化提供源源不絕的動(dòng)力。

大模型不是終點(diǎn)，而是起點(diǎn)

隨著“百模大戰(zhàn)”的興起，大模型以最高效率抵達(dá)了產(chǎn)業(yè)繁榮狀態(tài)。但隨之到來(lái)的是很多疑慮，比如在有了大模型之后，我們究竟如何讓它發(fā)揮價(jià)值？比如，大模型的技術(shù)能力，還能不能進(jìn)一步突破，如何突破？再比如大模型之間的競(jìng)爭(zhēng)，會(huì)不會(huì)變成低價(jià)、低質(zhì)的競(jìng)底游戲？

這些疑慮背后的關(guān)鍵，是產(chǎn)業(yè)界目前傳遞出的信號(hào)，過(guò)分強(qiáng)調(diào)“要有大模型”。反而很少提及大模型如何長(zhǎng)期發(fā)展，如何擺脫零和博弈。

我們關(guān)注大模型，難道不是驚艷于它的表現(xiàn)，于是開始暢想它的未來(lái)嗎？難道我們真的滿足于“有很多大模型”就是終局嗎？

換言之，大模型應(yīng)該是起點(diǎn)，而非終點(diǎn)。

目前來(lái)看，大模型的技術(shù)、產(chǎn)業(yè)與生態(tài)都還處在發(fā)展的萌芽期。各方應(yīng)該攜手共建，描畫大模型的美好未來(lái)。大模型之路，至少需要完成三個(gè)目標(biāo)：

1.向產(chǎn)業(yè)價(jià)值，完成大模型向C端與B端的應(yīng)用落地，推動(dòng)AI原生應(yīng)用走向時(shí)代前沿。

2.向眾智生態(tài)，大模型應(yīng)該是各行各業(yè)、萬(wàn)千開發(fā)者的大模型，集眾智才能立高遠(yuǎn)。

3.向技術(shù)突破，大模型目前的表現(xiàn)僅是開端，我們需要有方法、有路徑來(lái)驅(qū)動(dòng)大模型持續(xù)發(fā)生技術(shù)突破，直到走向AGI的遠(yuǎn)景目標(biāo)。

如何鋪這條大模型路？百度在WAVE SUMMIT深度學(xué)習(xí)開發(fā)者大會(huì)2023，展示了他們一直以來(lái)都在做的三件事。

指南針：AGI曙光已現(xiàn)

如果說(shuō)，大模型還能向前走，那么它應(yīng)該向哪里走？百度為大模型時(shí)代鋪路，做的第一件事，是向各界展示了關(guān)于大語(yǔ)言模型方向的“指南針”。

AI開發(fā)者們都知道，WAVE SUMMIT深度學(xué)習(xí)開發(fā)者大會(huì)，歷來(lái)是呈現(xiàn)百度對(duì)深度學(xué)習(xí)技術(shù)未來(lái)洞察的舞臺(tái)。

2019年，王海峰在首屆WAVE SUMMIT中提出，深度學(xué)習(xí)具有很強(qiáng)的通用性，并具備標(biāo)準(zhǔn)化、自動(dòng)化和模塊化的工業(yè)大生產(chǎn)特征，推動(dòng)人工智能進(jìn)入工業(yè)大生產(chǎn)階段。

四年來(lái)，AI工業(yè)大生產(chǎn)的方向不斷得到了充分驗(yàn)證，更引導(dǎo)了AI產(chǎn)業(yè)的發(fā)展與AI開放生態(tài)的繁榮。今天，AI技術(shù)在各領(lǐng)域展現(xiàn)出了充沛的生產(chǎn)力釋放效應(yīng)，證明AI工業(yè)大生產(chǎn)階段已經(jīng)正式到來(lái)。

面對(duì)大模型時(shí)代新的方向性問(wèn)題，王海峰也給出了清晰明確的洞察。本屆WAVE SUMMIT，王海峰首次對(duì)外表示，人工智能具有多種典型能力，理解、生成、邏輯、記憶是其中的核心基礎(chǔ)能力，這四項(xiàng)能力越強(qiáng)，越接近通用人工智能，而大語(yǔ)言模型具備了這四項(xiàng)能力，為通用人工智能（AGI）帶來(lái)曙光。

也就是說(shuō)，大模型持續(xù)向前發(fā)展，實(shí)現(xiàn)技術(shù)突破是可預(yù)見、可期待、可實(shí)現(xiàn)的。以理解、生成、邏輯、記憶四項(xiàng)核心技術(shù)作為向量，我們可以規(guī)劃出大模型長(zhǎng)期發(fā)展的路標(biāo)與路徑。

這樣的論斷，建立于百度扎實(shí)的技術(shù)探索之上。

以文心一言為例，它首先從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋的強(qiáng)化學(xué)習(xí)和提示等技術(shù)，并具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)等技術(shù)優(yōu)勢(shì)。進(jìn)一步地，文心一言通過(guò)多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布、基礎(chǔ)模型長(zhǎng)文建模、多類型多階段有監(jiān)督精調(diào)、多任務(wù)自適應(yīng)有監(jiān)督精調(diào)、多層次多粒度獎(jiǎng)勵(lì)模型等技術(shù)創(chuàng)新，全面提升基礎(chǔ)通用能力。在檢索增強(qiáng)和知識(shí)增強(qiáng)的基礎(chǔ)上，通過(guò)知識(shí)點(diǎn)增強(qiáng)，提升對(duì)世界知識(shí)的掌握和運(yùn)用；通過(guò)大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識(shí)建模、多粒度語(yǔ)義知識(shí)組合以及符號(hào)神經(jīng)網(wǎng)絡(luò)，提升邏輯能力；通過(guò)構(gòu)建數(shù)據(jù)、內(nèi)容、模型和系統(tǒng)安全的全面安全體系，保障大模型的安全性。可以說(shuō)，其具備了理解、生成、邏輯、記憶等核心基礎(chǔ)能力。

王海峰的闡釋既解答了各界對(duì)大模型長(zhǎng)期發(fā)展動(dòng)力的期待，更直接點(diǎn)明了AGI這一長(zhǎng)期目標(biāo)的實(shí)現(xiàn)方式。將目前的大模型技術(shù)基礎(chǔ)，與人類科技的星辰大海聯(lián)接在了一起。

除此之外，王海峰還分享了百度在大模型效率、應(yīng)用等方面的最新進(jìn)展。

所有遠(yuǎn)大航程都始于找到正確的航海圖。大語(yǔ)言模型具備了理解、生成、邏輯、記憶四項(xiàng)核心基礎(chǔ)能力，帶來(lái)AGI的曙光，正是這樣一張值得各界深度思考的航圖。

筑路基：文心加飛槳的步步向前

知道了要向哪里走，接下來(lái)的問(wèn)題是應(yīng)該如何走？面對(duì)這個(gè)問(wèn)題，百度為大模型時(shí)代做的第二件事，就是通過(guò)文心加飛槳，為大模型發(fā)展鋪設(shè)新的路基。

百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心副主任吳甜表示，文心一言熟練掌握的創(chuàng)作體裁超過(guò) 200 種，涵蓋了幾乎所有寫作需求，內(nèi)容豐富度是初期的 1.6 倍、思維鏈長(zhǎng)度是初期的 2.1 倍，知識(shí)點(diǎn)覆蓋是初期的 8.3 倍。

這樣的進(jìn)展效率背后，是百度在核心技術(shù)、開發(fā)平臺(tái)、應(yīng)用部署等領(lǐng)域協(xié)同發(fā)力的成果。而百度在大模型領(lǐng)域得到的先驅(qū)者經(jīng)驗(yàn)，也將通過(guò)文心加飛槳打造的AI基礎(chǔ)設(shè)施，面向開發(fā)者與千行百業(yè)進(jìn)行落地。

在本屆WAVE SUMMIT當(dāng)中，我們可以看到百度圍繞大模型的開發(fā)、優(yōu)化、應(yīng)用，取得了許多關(guān)鍵性、基礎(chǔ)性的進(jìn)展，我們可以從中試舉幾項(xiàng)加以說(shuō)明：

1.擴(kuò)展大模型能力邊界的插件生態(tài)

面對(duì)全新的大模型機(jī)遇，插件機(jī)制是開發(fā)者急切期待的。為了填補(bǔ)這一需求，文心大模型在 3.5 版本中新增了插件機(jī)制，已上線了百度搜索、覽卷文檔、一鏡流影、說(shuō)圖解畫、E言易圖五種官方原生插件。王海峰表示，未來(lái)百度將與開發(fā)者共建插件生態(tài)，共享技術(shù)創(chuàng)新成果。

從WAVE SUMMIT的反饋來(lái)看，各界對(duì)這些插件的認(rèn)可達(dá)到了很高指數(shù)。

比如說(shuō)，覽卷文檔可以借助文檔智能模型及搜索系統(tǒng)，實(shí)現(xiàn)對(duì)文檔的格式、布局等信息充分理解及定位，從而幫助用戶實(shí)現(xiàn)文檔摘要、問(wèn)答及創(chuàng)作的需求。

再比如，一鏡流影依托文心跨模態(tài)大模型，突破了不同模態(tài)之間語(yǔ)義對(duì)齊等技術(shù)難題。用戶僅需簡(jiǎn)單輸入文字，即可在1分鐘內(nèi)獲得高質(zhì)量的AIGC視頻，為大模型+視頻帶來(lái)了全新的效率升級(jí)與想象力突破。

E言易圖則實(shí)現(xiàn)了將文字需求轉(zhuǎn)化為可視化圖表的需求。僅需簡(jiǎn)單的數(shù)據(jù)圖表需求，或輸入待生成圖表的數(shù)據(jù)內(nèi)容，即可生成可交互圖表，協(xié)助用戶完成數(shù)據(jù)分析、洞察及圖表信息的交互演示，從而實(shí)現(xiàn)大模型與辦公、財(cái)務(wù)、數(shù)據(jù)統(tǒng)計(jì)等領(lǐng)域更為緊密、有針對(duì)性的結(jié)合。

2.深度學(xué)習(xí)平臺(tái)與大模型的聯(lián)合優(yōu)化

在大模型成為各界關(guān)注重點(diǎn)之后，如何更好更快地訓(xùn)練大模型，提升大模型推理效率，成為了產(chǎn)業(yè)中至關(guān)重要的挑戰(zhàn)。為此，經(jīng)過(guò)緊密的技術(shù)升級(jí)，百度已經(jīng)將文心與飛槳聯(lián)合優(yōu)化這條路跑通、跑順，成為了整個(gè)大模型產(chǎn)業(yè)可以參考的升級(jí)范本。

本屆 WAVE SUMMIT 上正式發(fā)布了飛槳開源框架v2.5，其全面完成了架構(gòu)升級(jí)，同時(shí)在大模型訓(xùn)練、推理和多硬件適配方面帶來(lái)了新的功能。其中，文心與飛槳聯(lián)合優(yōu)化最為關(guān)鍵，通過(guò)協(xié)同優(yōu)化，文心大模型 3.5 訓(xùn)練速度是優(yōu)化前的3 倍，推理速度更是達(dá)到了30倍以上。

大模型效率的提升離不開飛槳的加持，在訓(xùn)練方面，百度總結(jié)了一套打法：

從硬件資源層面看，飛槳與文心在硬件集群上進(jìn)行協(xié)同優(yōu)化，提升了有效訓(xùn)練時(shí)間占比；通過(guò)芯片、存儲(chǔ)、網(wǎng)絡(luò)協(xié)同優(yōu)化，提升了模型的訓(xùn)練吞吐速度，從而全面實(shí)現(xiàn)了以更小資源消耗實(shí)現(xiàn)大模型訓(xùn)練目標(biāo)；與模型算法協(xié)同優(yōu)化，提高收斂效率。在大模型訓(xùn)練中，優(yōu)化收斂效率和穩(wěn)定性，可大幅度減少訓(xùn)練時(shí)間，達(dá)到事半功倍的效果。

在推理方面，飛槳?jiǎng)t是從模型壓縮、推理引擎、服務(wù)部署三個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行協(xié)同優(yōu)化。作為深度學(xué)習(xí)開發(fā)平臺(tái)，飛槳可以支持AI模型從訓(xùn)練到推理的全流程落地。舉例來(lái)看，飛槳模型推理服務(wù)就可以有效支持大模型推理效率提升。其在業(yè)內(nèi)首創(chuàng)了支持動(dòng)態(tài)插入的分布式推理引擎，從而可以更有效完成龐大數(shù)據(jù)規(guī)模的AI模型進(jìn)行推理部署。在這些關(guān)鍵環(huán)節(jié)的協(xié)同推理能力提升下，飛槳不斷幫助文心大模型提升推理效率與推理性能，讓模型的學(xué)習(xí)效果與魯棒性更強(qiáng)，從而取得更強(qiáng)的應(yīng)用效果。

到目前為止，文心與飛槳的聯(lián)合優(yōu)化路徑被持續(xù)驗(yàn)證，進(jìn)而打通了大模型低成本、高效率落地的大門。

3.應(yīng)用側(cè)的先導(dǎo)示范。

面對(duì)著大模型的能力與機(jī)遇，各界不僅關(guān)注大模型基礎(chǔ)技術(shù)，同時(shí)也希望在應(yīng)用側(cè)直接獲得大模型支持，以及通過(guò)有效的AI原生應(yīng)用來(lái)探索自身的應(yīng)用落地方案。

在這一方面，WAVE SUMMIT 上展示了文心一言的能力，通過(guò)智能工作平臺(tái)如流進(jìn)入辦公場(chǎng)景，全面提升辦公效率。百度集團(tuán)副總裁、百度集團(tuán)首席信息官李瑩發(fā)布了如流的“超級(jí)助理”。 在代碼智能化場(chǎng)景，百度Comate系列產(chǎn)品全新升級(jí)，重磅發(fā)布智能編程助手ComateX和Comate Stack工具套件，實(shí)現(xiàn)了代碼解釋、代碼生成、行間注釋生成、單元測(cè)試用例等能力。

文心加飛槳，通過(guò)不斷升級(jí)技術(shù)、完善工具、落地應(yīng)用，讓大模型的路基沿著正確方向一路鋪設(shè)開去，從而讓更多開發(fā)者、更多行業(yè)伙伴能夠走上這條路，走近大模型的時(shí)代機(jī)遇。只有在眾力眾行之下，中國(guó)AI才能滾滾向前。

開航道：為開發(fā)者，為產(chǎn)業(yè)，為生態(tài)

在定準(zhǔn)方向，夯實(shí)技術(shù)之后，下一個(gè)問(wèn)題是如何讓更多人加入進(jìn)來(lái)，分享大模型紅利。為此，百度為大模型時(shí)代做的第三件事，是把大模型變成繁榮的生態(tài)航道。讓更多行業(yè)、更多開發(fā)者以高效率、低門檻的方式融入進(jìn)來(lái)，駛向自己的目標(biāo)。

生態(tài)與技術(shù)并重，始終是百度發(fā)展AI技術(shù)的立足根本。經(jīng)過(guò)多年發(fā)展，產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開源開放平臺(tái)飛槳，已經(jīng)凝聚了800萬(wàn)開發(fā)者，服務(wù)于22萬(wàn)家企事業(yè)單位，基于飛槳?jiǎng)?chuàng)建的AI模型達(dá)到80萬(wàn)個(gè)。

而面向大模型的機(jī)遇，百度同樣也廣開生態(tài)之門，注重社區(qū)發(fā)展。WAVE SUMMIT 期間，王海峰發(fā)布了飛槳開發(fā)者社區(qū)AI Studio中文名“星河社區(qū)”，寓意“文心加飛槳，翩然赴星河”。

與此同時(shí)，正式推出了星河大模型社區(qū)。在社區(qū)，開發(fā)者可以獲得一體化的大模型開發(fā)支持。飛槳+文心貫通全開發(fā)流程，與開發(fā)者持續(xù)共創(chuàng)大模型項(xiàng)目和應(yīng)用。目前，星河大模型社區(qū)已上線了超過(guò) 300 個(gè)大模型創(chuàng)意應(yīng)用，還提供了豐富的功能方便開發(fā)者進(jìn)行交流。百度還發(fā)布了文心大模型“星河”共創(chuàng)計(jì)劃，提供生態(tài)和產(chǎn)業(yè)資源，與廣大開發(fā)者共同推動(dòng)人工智能應(yīng)用創(chuàng)新。

而在作為AI產(chǎn)業(yè)底座的硬件領(lǐng)域，文心大模型最新與英偉達(dá)、寒武紀(jì)、華為等12家硬件伙伴開展了適配，覆蓋了云和端側(cè)多種硬件類型。目前，已經(jīng)有25家硬件伙伴參與到了星河社區(qū)硬件生態(tài)專區(qū)的共建當(dāng)中。

從產(chǎn)業(yè)落地的角度來(lái)看，文心大模型的落地規(guī)模在國(guó)內(nèi)保持領(lǐng)先，已經(jīng)有15 萬(wàn)家企業(yè)申請(qǐng)了文心一言內(nèi)測(cè)，其中超過(guò) 300 家生態(tài)伙伴在 400 多個(gè)具體場(chǎng)景取得了測(cè)試成效，覆蓋辦公提效、知識(shí)管理、智能客服、智能營(yíng)銷等領(lǐng)域。同時(shí)，百度聯(lián)合國(guó)家電網(wǎng)、浦發(fā)銀行、泰康、吉利等企業(yè)聯(lián)合發(fā)布了 11 個(gè)行業(yè)大模型。

不難看出，百度開辟的大模型航道，已經(jīng)實(shí)現(xiàn)了落地廣泛、生態(tài)繁榮、伙伴眾多。百度的大模型之路，正在這樣的航道上徐徐展開。

相比于以“有大模型”作為全部目標(biāo)，百度的大模型之路目光更遠(yuǎn)，看向AGI的星辰大海。

相比于堆積參數(shù)和技術(shù)務(wù)虛，百度的大模型之路更加腳踏實(shí)地，它是在一個(gè)個(gè)插件，一次次優(yōu)化中走通的，每一個(gè)腳印清晰可見。

相比于短期利益與劣幣競(jìng)爭(zhēng)，百度的大模型之路堅(jiān)持生態(tài)互利，它是行業(yè)的路，開發(fā)者的路，更多人的路。

中國(guó)AI的大模型之路，當(dāng)如是也。