AI框架歷史演進(jìn)和趨勢(shì)探索

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）AI框架是一種底層開發(fā)工具，是集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開發(fā)套件、豐富的工具組件于一體的平臺(tái)。

有了AI框架，工程師在工作時(shí)調(diào)試算法，就可以更快速、更高效。通俗一點(diǎn)講，AI框架相當(dāng)于是AI時(shí)代的操作系統(tǒng)，如同PC時(shí)代Windows，移動(dòng)互聯(lián)網(wǎng)時(shí)代的iOS和安卓。

AI框架發(fā)展現(xiàn)狀和趨勢(shì)

AI框架的歷史并不算長(zhǎng)，從2010年誕生的Theano算起，至今不過十二年時(shí)間。2017年后，早期的Theano、Caffe、Torch等框架逐漸銷聲匿跡，2016年前后出現(xiàn)的TensorFlow（谷歌）、PyTorch（Facebook）、飛槳（百度）逐漸占據(jù)市場(chǎng)。

從目前市場(chǎng)占有情況看，產(chǎn)業(yè)界以TensorFlow為主，學(xué)術(shù)界以PyTorch為主。與TensorFlow過于注重工業(yè)，PyTorch專注學(xué)界不同，飛槳的特性在于工業(yè)學(xué)界兩手抓，通過動(dòng)態(tài)圖自動(dòng)解析編譯靜態(tài)圖的技術(shù)，兼顧了學(xué)界的靈活，同時(shí)也實(shí)現(xiàn)了產(chǎn)業(yè)界希望的高效。

除了TensorFlow、PyTorch、飛槳，深度學(xué)習(xí)框架還包括由Amazon設(shè)計(jì)研發(fā)并開源的MXNet、微軟在github上開源的CNTK、華為推出的MindSpore、北京一流科技有限公司開發(fā)的OneFlow，以及清華大學(xué)自研的Jittor，和騰訊、字節(jié)跳動(dòng)、360開源的Angel、BytePS、TensorNet。

過去這些年，AI框架已形成較為完整的技術(shù)體系，當(dāng)前主流AI框架的核心技術(shù)演化出三大層次，分為基礎(chǔ)層、組件層和生態(tài)層，其中基礎(chǔ)層實(shí)現(xiàn)AI框架最基礎(chǔ)核心的功能，具體包括編程開發(fā)、編譯優(yōu)化以及硬件使能三個(gè)子層。

從技術(shù)生態(tài)體系中的功能定位看，AI框架對(duì)下調(diào)用底層硬件計(jì)算資源，對(duì)上支撐AI應(yīng)用算法模型搭建，提供算法工程化實(shí)現(xiàn)的標(biāo)準(zhǔn)環(huán)境，是AI技術(shù)體系的關(guān)鍵核心。

AI框架技術(shù)持續(xù)演進(jìn)，歷經(jīng)萌芽階段、成長(zhǎng)階段、穩(wěn)定階段，當(dāng)前已進(jìn)入深化階段。AI框架正向著超大規(guī)模AI、全場(chǎng)景支持、安全可信等技術(shù)特性深化探索。

AI框架面臨的挑戰(zhàn)

然而在這個(gè)探索的過程中，面臨諸多挑戰(zhàn)。在超大規(guī)模AI方面，當(dāng)前超大規(guī)模AI成為新的深度學(xué)習(xí)范式。OpenAI于2020年5月發(fā)布GPT-3模型，包含1750億參數(shù)，數(shù)據(jù)集達(dá)到45T，在多項(xiàng)NLP任務(wù)中超越了人類水平。這種超大規(guī)模的模型參數(shù)及超大規(guī)模的數(shù)據(jù)集的AI大模型范式，實(shí)現(xiàn)了深度學(xué)習(xí)新的突破。

產(chǎn)業(yè)界和學(xué)術(shù)界看到這種新型范式的潛力后紛紛入局，繼OpenAI后，華為基于MindSpore框架發(fā)布了盤古大模型、智源發(fā)布了悟道模型、阿里發(fā)布了M6模型、百度發(fā)布了文心模型等。超大規(guī)模AI正成為下一代人工智能的突破口，也是最有潛力的強(qiáng)人工智能技術(shù)。

超大規(guī)模AI需要大模型、大數(shù)據(jù)、大算力的三重支持，這就對(duì)AI框架提出了新的挑戰(zhàn)，比如內(nèi)存墻，大模型訓(xùn)練過程中需要存儲(chǔ)參數(shù)、激活、梯度、優(yōu)化器狀態(tài)，鵬程 . 盤古一個(gè)模型的訓(xùn)練就需要近4TB的內(nèi)存。算力墻，以鵬程 . 盤古2000億參數(shù)量的大模型為例，需要3.6EFLOPS的算力支持，要求必須構(gòu)建大規(guī)模的異構(gòu)AI計(jì)算集群才能滿足這樣的算力需求，同時(shí)算力平臺(tái)要滿足智能調(diào)度來(lái)提升算力資源的利用率。還有通信墻、調(diào)優(yōu)墻、部署墻等。

在全場(chǎng)景支持方面，隨著云服務(wù)器、邊緣設(shè)備、終端設(shè)備等人工智能硬件運(yùn)算設(shè)備的不斷涌現(xiàn)，以及各類人工智能運(yùn)算庫(kù)、中間表示工具以及編程框架的快速發(fā)展，人工智能軟硬件生態(tài)呈現(xiàn)多樣化發(fā)展趨勢(shì)。但主流框架訓(xùn)練出來(lái)的模型卻不能通用，學(xué)術(shù)科研項(xiàng)目間難以合作延伸，造成了深度學(xué)習(xí)框架的“碎片化”。

目前業(yè)界并沒有統(tǒng)一的中間表示層標(biāo)準(zhǔn)，導(dǎo)致各硬件廠商解決方案存在一定差異，以致應(yīng)用模型遷移不暢，增加了應(yīng)用部署難度。因此，基于AI框架訓(xùn)練出來(lái)的模型進(jìn)行標(biāo)準(zhǔn)化互通將是未來(lái)的挑戰(zhàn)。

然而即使面臨諸多挑戰(zhàn)，過去兩年，行業(yè)一直在持續(xù)探索，并取得一定突破，如2020年華為推出昇思MindSpore，在全場(chǎng)景協(xié)同、可信賴方面有一定的突破；曠視推出天元MegEngine，在訓(xùn)練推理一體化方面深度布局等。

整體而言，在人工智能體系中，AI框架處于貫通上下的腰部位置，下接芯片、上承應(yīng)用，是一個(gè)關(guān)鍵樞紐，是推動(dòng)AI應(yīng)用大規(guī)模落地的關(guān)鍵力量。因此對(duì)于企業(yè)來(lái)說，克服AI框架當(dāng)前面臨的挑戰(zhàn)，不斷探索新趨勢(shì)，進(jìn)行技術(shù)創(chuàng)新，完善技術(shù)、功能和生態(tài)是關(guān)鍵。