中國(guó)AI長(zhǎng)卷（三）：算法生根

“中美AI差距究竟有幾年？”這個(gè)問(wèn)題困擾了不少人，也有很多聲音嘗試將中美AI實(shí)力進(jìn)行比較。其中，算法，一定是評(píng)判的首要標(biāo)準(zhǔn)。

中美AI算法究竟是什么水平？我們可以用“第七個(gè)燒餅”來(lái)理解。

ChatGPT就是AI的“第七個(gè)燒餅”。深度學(xué)習(xí)算法的熱潮持續(xù)了十多年，終于在LLM（大語(yǔ)言模型）智能涌現(xiàn)之后，看到了實(shí)現(xiàn)通用人工智能的曙光。就像一個(gè)饑餓的人，連續(xù)吃了六個(gè)燒餅都沒(méi)吃飽，直到吃完了第七個(gè)燒餅，終于覺(jué)得飽了。

OpenAI為代表的美國(guó)企業(yè)，在底層研發(fā)和核心算法上占據(jù)領(lǐng)先地位，率先吃到了LLM的“第七個(gè)燒餅”。隨后，中國(guó)也極速跟進(jìn)了這個(gè)領(lǐng)域，很快推出了對(duì)標(biāo)ChatGPT、GPT-4水平的算法模型。

對(duì)此，有人欣慰：咱們雖然晚了一步，但也吃到了“第七塊燒餅”（中國(guó)沒(méi)有錯(cuò)過(guò)大模型的機(jī)會(huì)）。

有人憤怒：這一次技術(shù)突破又是美國(guó)公司主導(dǎo)，它們肚子里可比我們多好幾塊燒餅?zāi)兀绹?guó)領(lǐng)先我們至少十年）。

有人迷惑：早知道吃第七個(gè)燒餅就能飽，前面六個(gè)都不應(yīng)該買(mǎi)（大模型之前的智能化探索全都白干了）。

還有人質(zhì)疑：中國(guó)根本沒(méi)有能力做燒餅，能吃上是因?yàn)閯e的攤主公開(kāi)了做燒餅配方（谷歌Transformer、OpenAI GPT-1/GPT-2都是開(kāi)源的）。

以上不同的情緒，有各自的道理，源于對(duì)算法的認(rèn)知不同。

《終極算法》一書(shū)的作者寫(xiě)道：在農(nóng)業(yè)中，人類(lèi)進(jìn)行播種，確保種子有足夠的水分和營(yíng)養(yǎng)，然后收割成熟的作物，而這也是機(jī)器學(xué)習(xí)的承諾。算法是種子，數(shù)據(jù)是土壤，程序是成熟的作物。

算法，就是將大規(guī)模數(shù)據(jù)轉(zhuǎn)換成更合理、更智能決策的復(fù)雜程序，模型是它的軟件形態(tài)。算法模型，是AI產(chǎn)學(xué)界最重要的“收成”。

從這個(gè)角度看，簡(jiǎn)單對(duì)比中美誰(shuí)先拿下ChatGPT，其實(shí)并沒(méi)有太大意義。大眾真正關(guān)心的，是中國(guó)有沒(méi)有讓算法這顆“種子”播種、生根、成長(zhǎng)、結(jié)果的能力，能不能確保中國(guó)接下來(lái)吃到新算法的第八塊、第九塊……乃至第N塊 “燒餅”，持續(xù)滿(mǎn)足各行各業(yè)享用AI的需求？

要搞清楚這個(gè)問(wèn)題，我們得回到第三次AI浪潮的肇始，回到深度學(xué)習(xí)算法這顆“種子”剛剛萌芽的時(shí)候，看它是如何在中國(guó)落地生根的。

今天我們已經(jīng)知道，深度學(xué)習(xí)是聯(lián)結(jié)學(xué)派的主算法，主導(dǎo)了第三次AI浪潮。

可問(wèn)題是，深度學(xué)習(xí)并不是在2011年才橫空出世的概念。早在20世紀(jì)40-60年代，深度學(xué)習(xí)的雛形就出現(xiàn)在控制論中。訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的關(guān)鍵技術(shù)反向傳播算法，是1986年提出的。聯(lián)結(jié)學(xué)派，在2006年開(kāi)始復(fù)興。

那為什么，深度學(xué)習(xí)在2011年左右，才正式掀起了AI的新高潮呢？

背后有三個(gè)要素，構(gòu)成了深度學(xué)習(xí)“種子萌芽”的土壤：

1. 越來(lái)越多的數(shù)據(jù)量。深度學(xué)習(xí)算法的中心思想，就是將大量計(jì)算單元連接在一起來(lái)實(shí)現(xiàn)智能行為，這個(gè)多層神經(jīng)網(wǎng)絡(luò)就類(lèi)似于大腦的神經(jīng)元，依靠大數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練，而互聯(lián)網(wǎng)、智能手機(jī)提供了較好的數(shù)據(jù)基礎(chǔ)，2011年谷歌大腦成功識(shí)別了一只貓，2012年蘋(píng)果推出了Siri，成為深度學(xué)習(xí)算法的先行者。

2.越來(lái)越低的錯(cuò)誤率，或者說(shuō)越來(lái)越好的模型效果。2012年，多層神經(jīng)網(wǎng)絡(luò)Alex Net在ImageNet 大型視覺(jué)識(shí)別挑戰(zhàn)（ILSVRC）中獲得冠軍，并大幅超越了使用傳統(tǒng)機(jī)器學(xué)習(xí)算法的第二名，此后，深度學(xué)習(xí)每年都贏(yíng)，證明了該算法的有效性。

3.越來(lái)越多的成功應(yīng)用，深度學(xué)習(xí)這逐步成為主導(dǎo)算法，被工業(yè)界用來(lái)解決很多實(shí)際問(wèn)題，與上一代智能產(chǎn)品和應(yīng)用相結(jié)合，讓一度停滯不前的語(yǔ)音識(shí)別、圖像識(shí)別、NLP等任務(wù)都得到了提高。

大數(shù)據(jù)、技術(shù)能力、智能產(chǎn)品，當(dāng)時(shí)在中國(guó)，具備讓深度學(xué)習(xí)萌芽的條件嗎？有兩股力量可以。一是以BAT為代表的互聯(lián)網(wǎng)公司，一是科大訊飛為代表的早期A(yíng)I公司。

BAT為代表的中國(guó)互聯(lián)網(wǎng)公司，擁有海量數(shù)據(jù)以及國(guó)際化視野與人才團(tuán)隊(duì)，同時(shí)有搜索、語(yǔ)音、電商等數(shù)字化業(yè)務(wù)與應(yīng)用，擁抱深度學(xué)習(xí)這一新算法是必然。

2010年，百度成立自然語(yǔ)言處理部，由現(xiàn)任CTO王海峰帶領(lǐng)，開(kāi)始在語(yǔ)言與知識(shí)技術(shù)上布局，提出了“自然語(yǔ)言立足中國(guó)、面向世界一流水平”的定位。2012年，百度積極關(guān)注并接觸深度學(xué)習(xí)領(lǐng)域的領(lǐng)軍人物Geoffrey Hinton，并于2013年建立了IDL深度學(xué)習(xí)研究院，2014年又成立了大數(shù)據(jù)實(shí)驗(yàn)室BDL、硅谷人工智能實(shí)驗(yàn)室SVAIL。除此之外，騰訊也在2012年成立了優(yōu)圖實(shí)驗(yàn)室，阿里巴巴成立了iDST（數(shù)據(jù)科學(xué)與技術(shù)研究院）。

另一支探索路線(xiàn)，則是科大訊飛為代表的早期A(yíng)I公司。

這些公司大多是中國(guó)在智能領(lǐng)域的早期探索者，比如科大訊飛成立于1999年，創(chuàng)始人團(tuán)隊(duì)主要來(lái)自中科大電子工程系人機(jī)語(yǔ)音通信實(shí)驗(yàn)室。

在2011年之前，科大訊飛就以智能語(yǔ)音技術(shù)為核心，進(jìn)行了一系列技術(shù)、產(chǎn)品探索，比如科大訊飛聯(lián)合高校開(kāi)發(fā)的復(fù)雜語(yǔ)音合成、語(yǔ)音識(shí)別引擎，就打破了海外廠(chǎng)商的壟斷，其語(yǔ)音軟件在教育、電信、金融、學(xué)習(xí)機(jī)等領(lǐng)域都有商用。隨著深度學(xué)習(xí)算法在國(guó)際上嶄露鋒芒，科大訊飛有意愿、有能力、有場(chǎng)景，將深度學(xué)習(xí)與原有的智能語(yǔ)音業(yè)務(wù)相融合。在2011年上線(xiàn)了中文語(yǔ)音識(shí)別DNN系統(tǒng)，2014年啟動(dòng)了“訊飛超腦計(jì)劃”，探索讓“計(jì)算機(jī)能理解會(huì)思考”的感知智能和認(rèn)知智能。

2023年，面對(duì)“中國(guó)何時(shí)能有類(lèi)ChatGPT”“中美AI技術(shù)代差十年、三十年”的焦慮情緒， BAT、科大訊飛等企業(yè)作為中國(guó)大模型的第一梯隊(duì)，很快帶來(lái)了文心、混元、通義、星火等基礎(chǔ)大模型。當(dāng)然不是靠摘開(kāi)源的“果子”，而是深度學(xué)習(xí)算法的“種子”，萌芽之初，就扎根在中國(guó)AI的土地上，并持續(xù)生長(zhǎng)。

深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像識(shí)別和其他視覺(jué)任務(wù)中的突出表現(xiàn)，拉開(kāi)了AI 1.0階段的帷幕。

具體來(lái)說(shuō)，此前傳統(tǒng)的機(jī)器學(xué)習(xí)算法，雖然識(shí)別的精度和準(zhǔn)確率也在提升，但始終無(wú)法同時(shí)保證準(zhǔn)確率和識(shí)別效率，難以達(dá)到應(yīng)用規(guī)模。而卷積神經(jīng)網(wǎng)絡(luò)CNN由于參數(shù)共享和稀疏連接，非常適合處理圖像數(shù)據(jù)，在大規(guī)模圖像數(shù)據(jù)上訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型，可以不斷從底層特征中提取更高層的特征（機(jī)器看得懂），最終更好地進(jìn)行下游任務(wù)的處理（機(jī)器看得到）。

CNN為核心技術(shù)，在圖像識(shí)別、目標(biāo)檢測(cè)、圖像分割、圖像生成等算法方面，帶來(lái)了極大的進(jìn)步。2014年，香港中文大學(xué)團(tuán)隊(duì)讓機(jī)器在人臉識(shí)別任務(wù)上的表現(xiàn)第一次超越了人類(lèi)，被認(rèn)為AI 1.0階段的里程碑事件。

疊加智慧城市、智能安防等概念的興趣，CV計(jì)算機(jī)視覺(jué)飛速發(fā)展，成為深度學(xué)習(xí)最成功的應(yīng)用領(lǐng)域。

這一階段，沐浴在新算法春風(fēng)中茁壯成長(zhǎng)的，自然就是CV企業(yè)。

2014-2017三年間，曠視科技、商湯科技、依圖科技、云從科技相繼成立，依托于領(lǐng)先的計(jì)算機(jī)視覺(jué)技術(shù)，成為行業(yè)領(lǐng)導(dǎo)者和資本市場(chǎng)的寵兒，估值迅速上升，成為大家熟知的“CV四小龍”。它們的算法模型，被廣泛應(yīng)用在城市、安防、醫(yī)療影像、工業(yè)質(zhì)檢等領(lǐng)域。

當(dāng)然，除CV之外，我們也不能忽略深度學(xué)習(xí)算法在NLP、語(yǔ)音、自動(dòng)駕駛等多個(gè)領(lǐng)域中的進(jìn)展，給許多行業(yè)帶來(lái)了發(fā)展動(dòng)力。

比如長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM大幅提高了語(yǔ)音識(shí)別的準(zhǔn)確性，智能助手在這一時(shí)期內(nèi)得到了顯著的性能提升，海外的蘋(píng)果Siri、谷歌Google Assistant、亞馬遜Alexa、微軟Cortana等，國(guó)內(nèi)的百度小度、阿里天貓精靈等，被集成到多種智能終端軟硬件當(dāng)中，并開(kāi)啟了以語(yǔ)音交互為核心的智能家居元年。

自然語(yǔ)言處理方面，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和LSTM被應(yīng)用于語(yǔ)言模型、情感分析、機(jī)器翻譯等NLP任務(wù)。比如，這一階段的機(jī)器翻譯，就從統(tǒng)計(jì)機(jī)器翻譯（SMT）進(jìn)入到NWT神經(jīng)機(jī)器翻譯時(shí)代，可以說(shuō)是翻天覆地，中國(guó)的BAT（百度、阿里、騰訊）、科大訊飛、搜狗等公司，都在各自的產(chǎn)品中部署了NWT，大幅提升了在線(xiàn)翻譯的連貫性、準(zhǔn)確性和語(yǔ)感。

同時(shí)，深度學(xué)習(xí)還可以在感知和決策方面，為自動(dòng)駕駛汽車(chē)提供支持，吸引了很多投資基金的興趣，進(jìn)入了快速發(fā)展的黃金時(shí)期。百度在2013年啟動(dòng)了自動(dòng)駕駛汽車(chē)項(xiàng)目，2017年推出了Apollo平臺(tái)，并出現(xiàn)了小馬智行等一批面向L4自動(dòng)駕駛技術(shù)的初創(chuàng)公司。

總的來(lái)看，AI 1.0階段，深度學(xué)習(xí)算法取代了傳統(tǒng)機(jī)器學(xué)習(xí)算法，成為這一階段的主算法，為很多領(lǐng)域的AI任務(wù)帶來(lái)了跨越式發(fā)展。

但這一階段的算法模型開(kāi)發(fā)，仍是“手工作坊模式”，坊間戲稱(chēng)“有多少人工就有多少智能”。依靠對(duì)大量數(shù)據(jù)的依賴(lài)，需要組建龐大的標(biāo)注團(tuán)隊(duì)，模型泛化性不足，專(zhuān)為某個(gè)特定任務(wù)而設(shè)計(jì)，需要投入開(kāi)發(fā)人員進(jìn)行大量重復(fù)開(kāi)發(fā)和手工迭代優(yōu)化等。

從“手工業(yè)作坊”到“工業(yè)化AI工廠(chǎng)”，算法仍需一場(chǎng)嬗變。

凱文凱利說(shuō)過(guò)，技術(shù)帶來(lái)的問(wèn)題，只能靠技術(shù)進(jìn)步來(lái)解決，算法也不例外。

從AI開(kāi)發(fā)，從過(guò)去的手工作坊式向工業(yè)化升級(jí)，預(yù)訓(xùn)練模型就是一條可以規(guī)?；a(chǎn)高性能AI模型的“工業(yè)生產(chǎn)線(xiàn)”。

2017年，谷歌在論文《Attenlion is All You Needs》提出了Transformer架構(gòu)。沒(méi)有使用上一階段流行的卷積神經(jīng)網(wǎng)絡(luò)CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM、GRU等結(jié)構(gòu)，僅使用了自注意（Self-attention）特性，引入了注意力機(jī)制和預(yù)訓(xùn)練模型（PTM）。在機(jī)器翻譯、機(jī)器閱讀、自動(dòng)問(wèn)答、情緒分析、自動(dòng)摘要、語(yǔ)言建模等場(chǎng)景，顯現(xiàn)出了前所未有的能力。2018年，基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型BERT，刷新了11項(xiàng) NLP任務(wù)的最優(yōu)性能紀(jì)錄。同年，OpenAI推出了GPT-1。

基于Transformer架構(gòu)的預(yù)訓(xùn)練模型，可以通過(guò)模型的預(yù)先訓(xùn)練，帶來(lái)效果更好、質(zhì)量更高的算法模型，下游只需要任務(wù)微調(diào)就能應(yīng)用。這種“預(yù)制菜”一樣的“工業(yè)化模式”，一改小模型定制的積弊，讓大規(guī)模、可復(fù)制的AI應(yīng)用成為可能，成為AI去往下一個(gè)時(shí)代的必經(jīng)之路。

邁向預(yù)訓(xùn)練模型的這條路上，中國(guó)幾乎與世界一流水平同步，得益于一個(gè)關(guān)鍵變化：云智合流。

打造預(yù)訓(xùn)練模型，最困難的一項(xiàng)，就是專(zhuān)用算力不足，有的學(xué)校甚至買(mǎi)不起GPU卡，沒(méi)有AI算力用。同時(shí)，這一階段很多政企用戶(hù)加速上云，也希望智能化升級(jí)，以更便捷的方式獲取算法能力。

幸好，在這個(gè)算法更迭的關(guān)鍵窗口期，云+AI的融合基礎(chǔ)設(shè)施，已經(jīng)在建設(shè)中。

2017年，將AI技術(shù)作為核心能力的華為云誕生。2018年，百度云更名為百度智能云，阿里云升級(jí)為阿里云智能。將AI引入公有云的能力版圖，成為主流。

云智合流，讓AI開(kāi)發(fā)從“手工業(yè)”邁入到“工業(yè)化”，將原本散落在算法全生命周期中的各類(lèi)需求，進(jìn)行了“融合”：

1.算力融合。預(yù)訓(xùn)練模型不僅需要龐大規(guī)模的異構(gòu)算力，而且需要高度的靈活性，從訓(xùn)練到推理的每個(gè)步驟，所需要的算力是差異巨大的。通過(guò)云廠(chǎng)商的基礎(chǔ)設(shè)施，企業(yè)可以彈性、靈活、按需取用地接入多樣、充沛的AI算力。獲取算力的方式變得簡(jiǎn)單、高效、低門(mén)檻了，這就讓更多人參與到AI算法模型的開(kāi)發(fā)中來(lái)，進(jìn)入大規(guī)模生產(chǎn)階段。

2.流程融合。借助云廠(chǎng)商提供完整、全棧的AI能力和開(kāi)發(fā)工具，包括預(yù)制數(shù)據(jù)集、模型庫(kù)、算子庫(kù)等，讓企業(yè)和開(kāi)發(fā)者可以在云上完成從訓(xùn)練－開(kāi)發(fā)－推理－部署的全部環(huán)節(jié)。比如百度智能云的EasyDLBML平臺(tái)、華為云的AI開(kāi)發(fā)生產(chǎn)線(xiàn)ModelArts等。

3.產(chǎn)品融合。時(shí)間來(lái)到2018年，智慧城市、智慧園區(qū)等都開(kāi)始追求整體智能，希望構(gòu)建一體化、解決方案式的“AI大腦”，整合算法、芯片、云端算力、框架、網(wǎng)絡(luò)、IoT等軟硬件，實(shí)現(xiàn)智慧決策能力的質(zhì)變。這種情況下，云廠(chǎng)商和AI企業(yè)都要把自己變成一個(gè)“AI超市”，集成并供應(yīng)豐富的AI技術(shù)能力與應(yīng)用，讓行業(yè)用戶(hù)和開(kāi)發(fā)者可以體系化、輕松地，獲取到所需要的AI能力。

比如百度智能云率先在業(yè)界提出了“云智一體，深入產(chǎn)業(yè)”的主張，發(fā)布了200多款產(chǎn)品和數(shù)十個(gè)解決方案，將百度AI技術(shù)釋放到金融、物流、工業(yè)、農(nóng)業(yè)等多個(gè)行業(yè)。華為云在2021年啟動(dòng)盤(pán)古大模型，并在2022年聚焦行業(yè)應(yīng)用落地，基于盤(pán)古大模型的通用能力，打造了盤(pán)古氣象大模型、盤(pán)古礦山大模型、盤(pán)古電力大模型、盤(pán)古藥物分子大模型等。

可以說(shuō)，云智合流，為中國(guó)AI跟上ChatGPT的大模型路線(xiàn)，奠定了基礎(chǔ)。

2023年以來(lái)，在海外算力形勢(shì)愈發(fā)嚴(yán)峻的背景下，國(guó)產(chǎn)預(yù)訓(xùn)練大模型依然實(shí)現(xiàn)了“井噴”，在文本處理、圖像生成、音視頻生成、多模態(tài)等各個(gè)任務(wù)中，都完成了占位。放眼全球，唯有中美這兩棵繁茂的AI“榕樹(shù)”。

讓深度學(xué)習(xí)算法的這顆“種子”，在中國(guó)扎根、生長(zhǎng)、成熟，這本身就是一種能力的自證。

回顧深度學(xué)習(xí)的十多年歷程，或許某一種具體的算法會(huì)被更新更好的算法所取代，但這個(gè)雨打風(fēng)吹、反復(fù)更替的過(guò)程，也讓中國(guó)AI在時(shí)光中變得愈發(fā)堅(jiān)韌，積蓄了經(jīng)驗(yàn)、匯聚了人才、釋放了信心。

只要根深蒂固，任爾東西南北風(fēng)，中國(guó)AI都能在每一次技術(shù)趨勢(shì)中，生長(zhǎng)出新的枝丫，結(jié)出產(chǎn)業(yè)期待的果實(shí)。