百度平地起“雷”，突然爆出的QPS數(shù)據(jù)意味著什么？

魯迅先生1923年在北師大發(fā)表了著名的演講《娜拉走后怎樣》，其中的提問(wèn)與思考方式振聾發(fā)聵，直到今天也依舊有效。面對(duì)很多產(chǎn)業(yè)現(xiàn)象、技術(shù)趨勢(shì)，我們也不妨多問(wèn)幾個(gè)“之后怎樣”。

比如說(shuō)，自ChatGPT爆火之后，中國(guó)各個(gè)互聯(lián)網(wǎng)、科技公司競(jìng)相推出了自己的大語(yǔ)言模型及相關(guān)應(yīng)用。其實(shí)，關(guān)于中國(guó)能否有ChatGPT我們從未擔(dān)心過(guò)，而問(wèn)題的關(guān)鍵在于“之后怎樣”。

層出不窮的大語(yǔ)言模型，讓人眼花繚亂。但如此多的大模型，差異化和競(jìng)爭(zhēng)力從何而來(lái)？能否順利、低成本實(shí)現(xiàn)產(chǎn)業(yè)落地？能否有效支持模型的快速迭代？

發(fā)布大模型并不是終點(diǎn)，而是一場(chǎng)新長(zhǎng)跑的起點(diǎn)。如果不能有效回答這些問(wèn)題，那么大模型也最終會(huì)像其他技術(shù)風(fēng)口一樣，倏忽而來(lái)，倏忽而去。

慢慢地，“大模型之后怎樣”這個(gè)問(wèn)題，也開(kāi)始有了答案。4月23日，我們看到一份百度文心一言內(nèi)部流出的會(huì)議紀(jì)要。其中顯示，從3月開(kāi)始，文心一言啟動(dòng)邀測(cè)后的一個(gè)多月內(nèi)，其模型已經(jīng)迭代了4次，最近一次帶來(lái)的推理效果提升了達(dá)到123%。

到底是什么支持文心一言完成了這種超越常規(guī)的迭代速度？

這個(gè)“秘密”或許正是中國(guó)大模型走向未來(lái)所需要的動(dòng)力，也是“大模型之后怎樣”的某種答案。

內(nèi)部會(huì)議紀(jì)要，透露出文心一言的奔跑速度

根據(jù)內(nèi)部紀(jì)要內(nèi)容顯示，文心一言在開(kāi)啟邀測(cè)后用戶數(shù)與同時(shí)在線人數(shù)都極速增長(zhǎng)，面臨這種情況，文心一言需要及時(shí)獲得更快的響應(yīng)速度。我們知道，機(jī)器學(xué)習(xí)類模型的應(yīng)用邏輯包含數(shù)據(jù)準(zhǔn)備—模型訓(xùn)練—模型推理幾個(gè)步驟。文心一言面臨的響應(yīng)挑戰(zhàn)，就是需要及時(shí)強(qiáng)化模型的推理能力。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，百度對(duì)文心一言進(jìn)行了模型層與框架層的聯(lián)合優(yōu)化，從而在一個(gè)月內(nèi)迭代了4次，實(shí)現(xiàn)了模型推理能力的極大提升。

是什么讓文心一言獲得了這樣的奔跑速度？這就要提到百度飛槳“提前”做好的準(zhǔn)備。作為深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)，飛槳可以支持AI模型從訓(xùn)練到推理的全流程落地。其中，飛槳模型推理服務(wù)就可以有效支持大模型升級(jí)，這一服務(wù)在4月19日剛剛再次迭代，已迭代至3.5版本，它的特點(diǎn)是在業(yè)內(nèi)首創(chuàng)了支持動(dòng)態(tài)插入的分布式推理引擎，從而可以更有效完成龐大數(shù)據(jù)規(guī)模的AI模型進(jìn)行推理部署。

至此我們可以從這份內(nèi)部紀(jì)要中知道，文心一言能夠快速持續(xù)迭代，并且低成本落地應(yīng)用的關(guān)鍵，就藏在這里——飛槳與文心一言聯(lián)合優(yōu)化。

從結(jié)果上看，聯(lián)合優(yōu)化帶來(lái)的價(jià)值非常顯著。飛槳幫助文心一言實(shí)現(xiàn)了模型推理效率提升10倍，模型推理性能提升50%，模型算力利用率提升1倍。其中，模型推理效率提升10倍，意味著推理成本降低為原來(lái)1/10，或者可以為10倍數(shù)量的用戶提供服務(wù)；模型推理性能提升50%，意味著飛槳可以幫助文心一言工藝更精密，模型的學(xué)習(xí)效果與魯棒性更強(qiáng)；模型算力利用率提升1倍，是由于飛槳向下兼容到芯片，實(shí)現(xiàn)全棧聯(lián)合優(yōu)化，從而可以極大降低文心一言的算力開(kāi)銷。

從這幾個(gè)方向可以看出，飛槳為文心一言帶來(lái)的價(jià)值，是持續(xù)性且多方面的，其中最重要的是，飛槳讓文心一言可以持續(xù)性、低成本向前奔跑，不斷進(jìn)化。

這也恰好解釋了這個(gè)問(wèn)題：大模型，路在何方？

飛槳，讓大模型節(jié)奏飛起的AI引擎

在ChatGPT全球化爆火，各家廠商、投資人，都在不遺余力地?cái)D上大模型賽道。這種情況當(dāng)然可以理解，但也必須看到，這條賽道不僅門(mén)檻高、入局難，在入局之后構(gòu)建持續(xù)競(jìng)爭(zhēng)力同樣很難。

大模型意味著龐大的算力開(kāi)支、數(shù)據(jù)開(kāi)支，以及更為恐怖的模型迭代成本。入局大模型之后，必須根據(jù)用戶反饋快速迭代，高效率升級(jí)，否則一不小心就會(huì)掉隊(duì)，在第一輪風(fēng)口過(guò)去后陷入行業(yè)洗牌，緊跟行業(yè)趨勢(shì)，不斷推動(dòng)模型升級(jí)，又會(huì)面臨巨大的工作量與模型推理成本。

這個(gè)兩難選擇并不遙遠(yuǎn)，很快就會(huì)成為困擾大量新玩家的頭疼問(wèn)題。

而多年部署AI基礎(chǔ)設(shè)施與基礎(chǔ)技術(shù)的百度，其優(yōu)勢(shì)就在這時(shí)顯示了出來(lái)。飛槳與文心一言的聯(lián)合優(yōu)化，讓文心一言在訓(xùn)練和推理過(guò)程中效率大幅提升，實(shí)現(xiàn)了真正的人家起跑，我已經(jīng)幾輪加速，節(jié)奏快到飛起。

大模型與AI開(kāi)發(fā)平臺(tái)，是相輔相成、互為表里的關(guān)系。比如有分析人士解讀認(rèn)為，“大模型就仿佛汽車的發(fā)動(dòng)機(jī)，光賬面上的動(dòng)力強(qiáng)，參數(shù)大是沒(méi)有用的，要壓榨出發(fā)動(dòng)機(jī)瞬時(shí)最大爆發(fā)力（QPS）以及最優(yōu)的性能表現(xiàn)。深度學(xué)習(xí)框架就像是生產(chǎn)發(fā)動(dòng)機(jī)和變速箱的，可以讓發(fā)動(dòng)機(jī)整體部件組合更精密、動(dòng)力更強(qiáng)。自研產(chǎn)品彼此適配度更高，協(xié)同會(huì)更高效，這可能是效率提升的最根本原因?！币劳酗L(fēng)口入局大模型，終歸會(huì)有一種空中樓閣的隱憂，至少難以將全面的技術(shù)棧掌握在自己手中，實(shí)現(xiàn)更高效、可控的模型升級(jí)。

由此可見(jiàn)，大模型走向成功，除了算力、數(shù)據(jù)的基礎(chǔ)之外，深度學(xué)習(xí)框架同樣扮演著關(guān)鍵角色。面對(duì)紛繁而出的大模型，百度文心系列大模型的差異化優(yōu)勢(shì)，也就在百度十年搭建的飛槳平臺(tái)中展露了出來(lái)。

而當(dāng)我們把大模型與飛槳的聯(lián)動(dòng)關(guān)系，放到科技自立自強(qiáng)的戰(zhàn)略高度來(lái)審視。又會(huì)發(fā)現(xiàn)一些別樣的答案：飛槳既是百度的AI護(hù)城河，也是中國(guó)大模型的動(dòng)力引擎。

中國(guó)AI，勝負(fù)系于工程化

最近，我們能看到很多大語(yǔ)言模型的發(fā)布會(huì)，差不多每一家都會(huì)說(shuō)，我們目前確實(shí)不如ChatGPT，以后繼續(xù)努力。

那么問(wèn)題來(lái)了，怎么努力？

事實(shí)上，努力不是說(shuō)說(shuō)就行了，而是要找到方式和方法。ChatGPT代表的算法優(yōu)勢(shì)、人才優(yōu)勢(shì)、算力優(yōu)勢(shì)都是短期很難抹平的，至少看不到可以快速超車的戰(zhàn)略空間。中國(guó)AI想要走通大模型這條路，就只能揚(yáng)長(zhǎng)避短，而中國(guó)AI的優(yōu)勢(shì)在哪呢？從百度流出的內(nèi)部會(huì)議紀(jì)要中其實(shí)已經(jīng)告訴了我們答案：工程化。

通過(guò)飛槳長(zhǎng)期堅(jiān)持的AI工程化路徑的掌握與打磨，我們可以看到百度發(fā)展大模型的獨(dú)特優(yōu)勢(shì)，同時(shí)也可以看到中國(guó)AI整體性的戰(zhàn)略機(jī)遇。

首先，對(duì)于百度內(nèi)部來(lái)說(shuō)，通過(guò)飛槳牢牢把控工程化能力，可以提升文心一言的迭代速度，降低算力、人工、數(shù)據(jù)等開(kāi)銷，從而讓文心一言能夠在同等成本下服務(wù)的用戶更多，適配產(chǎn)品的效率更高。這就像同樣從一處名叫“大模型”的深海油井取得原油，飛槳就像一艘輪船，船速更快，運(yùn)量還大，而其他人在用帆船運(yùn)輸。效率意味著成本，成本意味著商業(yè)化可能性，這就是飛槳的價(jià)值，也是AI工程化能力的魅力。

從百度向外看，飛槳帶來(lái)的工程化能力，意味著文心系列大模型的推理成本更低，繼而導(dǎo)致其在各行業(yè)、各場(chǎng)景中的落地成本更低。這對(duì)于文心大模型融入行業(yè)，通過(guò)產(chǎn)業(yè)智能化產(chǎn)生價(jià)值是個(gè)重大利好。大模型走向千行百業(yè)，是今天每家公司都在喊的口號(hào)，但這個(gè)過(guò)程中，一定不能把模型落地成本全部轉(zhuǎn)嫁給行業(yè)用戶。消解這一成本的關(guān)鍵，也在于飛槳代表的工程化路徑。

最后，當(dāng)大模型已經(jīng)上升為國(guó)家戰(zhàn)略，我們必須看到AI框架在科技自立自強(qiáng)進(jìn)程中扮演的角色。如果事關(guān)國(guó)計(jì)民生，每天與無(wú)數(shù)國(guó)人進(jìn)行問(wèn)答的大模型，建立在其他國(guó)家的框架上，那么其危險(xiǎn)系數(shù)可想而知。當(dāng)大模型愈發(fā)重要，關(guān)注并持續(xù)解決深度學(xué)習(xí)框架卡脖子的隱憂就更加重要。

而從另一個(gè)角度看，AI框架與AI開(kāi)發(fā)平臺(tái)代表的AI工程化能力，是中國(guó)AI技術(shù)最亮眼、最特殊的部分。這一部分下接芯片，上達(dá)應(yīng)用，通向千行百業(yè)的AI開(kāi)發(fā)需求，恰好是AI技術(shù)中的戰(zhàn)略要沖所在。中國(guó)AI能否揚(yáng)長(zhǎng)避短，實(shí)現(xiàn)超車，極大概率就系于工程化能力的建設(shè)與發(fā)揮，系于AI框架與產(chǎn)業(yè)智能化的連接中。

中國(guó)大模型，就是行業(yè)大模型，就是強(qiáng)工程化、強(qiáng)落地性的大模型，只有走通這條路，中國(guó)AI才有未來(lái)。