中國計(jì)算機(jī)大會現(xiàn)場王海峰揭秘文心大模型4.0

10月26日-28日，第二十屆中國計(jì)算機(jī)大會(CNCC2023)在遼寧沈陽舉辦，國內(nèi)外計(jì)算機(jī)領(lǐng)域的專家學(xué)者、科技領(lǐng)軍人才、企業(yè)代表共同探討計(jì)算及信息科學(xué)技術(shù)領(lǐng)域最新進(jìn)展和宏觀發(fā)展趨勢。百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主任王海峰在會上解讀文心大模型最新技術(shù)，闡述大模型產(chǎn)業(yè)模式。據(jù)了解，自文心一言3月發(fā)布至今，文心大模型4.0訓(xùn)練算法效率提升3.6倍，周均訓(xùn)練有效率超過98%，推理性能提升50倍。

王海峰認(rèn)為，人工智能具有多種典型能力，理解、生成、邏輯、記憶是其中的基礎(chǔ)能力，這四項(xiàng)能力越強(qiáng)，越接近通用人工智能，而大語言模型具備了這四項(xiàng)能力，且越來越強(qiáng)，為發(fā)展通用人工智能帶來了曙光。

百度在3月16日發(fā)布知識增強(qiáng)大語言模型文心一言，目前文心一言的基礎(chǔ)模型已迭代到文心大模型4.0版本。知識增強(qiáng)大語言模型從數(shù)萬億數(shù)據(jù)和數(shù)千億知識中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù)，具備知識增強(qiáng)、檢索增強(qiáng)和對話增強(qiáng)的技術(shù)優(yōu)勢。

例如在推理方面，通過大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識建模、多粒度語義知識組合以及符號神經(jīng)網(wǎng)絡(luò)，提升邏輯能力。此外，在輸入和輸出階段都進(jìn)行知識點(diǎn)增強(qiáng)。而在插件方面，通過數(shù)據(jù)驅(qū)動、提示構(gòu)建，以及插件增強(qiáng)進(jìn)行場景適配，協(xié)同優(yōu)化。文心一言已上線百度搜索、覽卷文檔、E言易圖、說圖解畫、一鏡流影等原生插件，擴(kuò)展了大模型能力邊界，更適應(yīng)場景需要。

此外，百度進(jìn)一步研制了智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，能夠做到可靠執(zhí)行、自我進(jìn)化，并一定程度上將思考過程白盒化，讓機(jī)器像人一樣思考和行動，自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。

王海峰表示，基于更強(qiáng)平臺、更優(yōu)數(shù)據(jù)、更好算法，我們訓(xùn)練出規(guī)模更大、效果更好的文心大模型4.0。通過飛槳與文心的協(xié)同優(yōu)化，模型周均訓(xùn)練有效率超過98%，訓(xùn)練算法效率提升3.6倍，推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升，其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。

具體而言，在萬卡算力上運(yùn)行飛槳平臺，通過集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓(xùn)練。建設(shè)了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評估閉環(huán)，充分釋放數(shù)據(jù)價(jià)值，并通過多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，大幅提升模型效果。

基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對齊，保證模型更好地與人類的判斷和選擇對齊?？稍偕?xùn)練技術(shù)通過增量式的參數(shù)調(diào)優(yōu)，有效節(jié)省了訓(xùn)練資源和時(shí)間，加快了模型迭代速度。

公開數(shù)據(jù)顯示，文心一言面向全社會開放一個(gè)多月，用戶規(guī)模達(dá)到4500萬，開發(fā)者5.4萬，場景4300個(gè)，應(yīng)用825個(gè)，插件超過500個(gè)。飛槳和文心生態(tài)愈加繁榮，已凝聚800萬開發(fā)者，服務(wù)22萬家企事業(yè)單位，基于飛槳?jiǎng)?chuàng)建了80萬個(gè)模型。

演講中，王海峰進(jìn)一步展示了文心一言的理解、生成、邏輯、記憶能力。文心一言精準(zhǔn)推薦了沈陽的賞秋勝地，根據(jù)指令作了一首以“虎”為題，不出現(xiàn)“虎”字的詩，生動表現(xiàn)了森林之王老虎的威猛形象。而在工作中，文心一言已經(jīng)成為“超級助理”，實(shí)現(xiàn)了IM對話智能總結(jié)、會議洞察和會議紀(jì)要實(shí)時(shí)生成、一鍵智能差旅等。據(jù)悉，目前這些功能已應(yīng)用于百度的工作流程中，助力員工提升工作效率。

面對大模型產(chǎn)業(yè)化的挑戰(zhàn)，王海峰表示，類似芯片代工廠模式，可以采用“集約化生產(chǎn)，平臺化應(yīng)用”的模式，即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)將模型生產(chǎn)的復(fù)雜過程封裝起來，通過低門檻、高效率的生產(chǎn)平臺，為千行百業(yè)提供大模型服務(wù)。目前，這一產(chǎn)業(yè)化路徑已在文心大模型產(chǎn)業(yè)實(shí)踐中得到驗(yàn)證，百度與各行業(yè)頭部企業(yè)、機(jī)構(gòu)共建了包括能源、金融、航天、制造、傳媒、城市、社科以及影視等行業(yè)大模型，正加速大模型產(chǎn)業(yè)化落地。