聯(lián)發(fā)科年底將推出新一代旗艦SOC，加速生成式AI終端部署

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）近日，聯(lián)發(fā)科宣布將運(yùn)用Meta最新的大型語言模型Llama 2及自家的人工智能處理單元（APU）和完整的AI開發(fā)平臺（NeuroPilot），建立完整的終端運(yùn)算生態(tài)系統(tǒng)，賦能終端設(shè)備生成式AI應(yīng)用。

將生成式AI部署在終端設(shè)備上

目前大部分生成式AI都是通過云端運(yùn)算進(jìn)行，而聯(lián)發(fā)科的目標(biāo)是將其部署在終端設(shè)備上。聯(lián)發(fā)科表示，今年年底將推出新一代旗艦 SoC，將采用針對Llama 2模型而優(yōu)化的軟件棧（NeuroPilot），與搭配支持Transformer模型做骨干網(wǎng)絡(luò)加速的升級版AI處理器（APU），可減少動態(tài)隨機(jī)存取內(nèi)存（DRAM）的讀寫消耗和帶寬占用，進(jìn)一步強(qiáng)化大語言模型和生成式AI應(yīng)用的性能，助力開發(fā)者打造令人驚艷的AI應(yīng)用，加速終端設(shè)備AI應(yīng)用落地發(fā)展。

Llama 2由Meta的研究部門Meta AI開發(fā)，是建立在Meta之前的開源大型語言模型Llama之上，Llama于今年 2 月發(fā)布。Llama使用Meta的PyTorch框架在公開可用的在線數(shù)據(jù)源上進(jìn)行了預(yù)訓(xùn)練。然而，Llama擁有非商業(yè)許可證，僅適用于具有一定資格的學(xué)者。

之后，Meta發(fā)布了帶有商業(yè)許可證的Llama 2，允許任何人將其用于研究和商業(yè)目的。Llama 2參數(shù)范圍從70億到700億，使用2萬億個token在線數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，是Llama的兩倍。Meta Llama 2具有更豐富的上下文窗口，包含4,096個標(biāo)記，是Llama上下文窗口大小的兩倍。

Meta Llama 2對超過100萬條人工注釋進(jìn)行了微調(diào)，這些注釋是從各種來源收集的，例如公開可用的指令數(shù)據(jù)集和Meta自己的眾包平臺。經(jīng)過微調(diào)的模型Llama-2-chat針對對話應(yīng)用程序進(jìn)行了優(yōu)化，可以生成流暢且更為準(zhǔn)確的響應(yīng)。

NeuroPilot是聯(lián)發(fā)科為開發(fā)者提供的基于本地端側(cè)的AI運(yùn)算解決方案，它為內(nèi)建CPU、GPU 和 APU（獨(dú)立AI 處理器）等異構(gòu)運(yùn)算單元的MediaTek SoC平臺提供完整且強(qiáng)大的軟件解決方案。

NeuroPilot支持開發(fā)者在現(xiàn)有和未來的聯(lián)發(fā)科硬件平臺以及包括智能手機(jī)、汽車、智能家居、物聯(lián)網(wǎng)等產(chǎn)品線實(shí)現(xiàn)“一次編寫，全場景通用”，幫助開發(fā)者在MediaTek平臺上高效開發(fā)和部署基于神經(jīng)網(wǎng)絡(luò)模型的AI應(yīng)用程序。

AI開發(fā)者可以使用主流的TensorFlow、Pytorch、TF Lite、Caffe、Caffe2以及其他自定義的第三方通用AI框架來構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，并接入到NeuroPilot系統(tǒng)，充分發(fā)揮聯(lián)發(fā)科AI系統(tǒng)的強(qiáng)勁算力，顯著提高模型運(yùn)行在設(shè)備上的效率，并降低功耗和內(nèi)存消耗。

在設(shè)備端部署生成式AI有諸多好處：1、減少延遲；2、提高數(shù)據(jù)私密性，將數(shù)據(jù)保存在設(shè)備上，數(shù)據(jù)就不會通過數(shù)據(jù)中心傳輸；3、提高帶寬效率，如今，生成式人工智能任務(wù)需要將用戶對話中的所有數(shù)據(jù)來回傳輸?shù)綌?shù)據(jù)中心。而通過本地化處理，大量數(shù)據(jù)將在設(shè)備上完成；4、提高運(yùn)行彈性，通過在設(shè)備上生成，即使網(wǎng)絡(luò)中斷，系統(tǒng)也能繼續(xù)運(yùn)行；5、提高能源效率等。

聯(lián)發(fā)科積極投入到人工智能領(lǐng)域布局中

過去一年多時間，由于消費(fèi)電子等市場需求疲軟，聯(lián)發(fā)科的業(yè)績也受到較大影響，在今年4月28日，聯(lián)發(fā)科執(zhí)行長蔡力行在財(cái)報(bào)電話會議上表示，將會迅速將資源轉(zhuǎn)移到汽車和人工智能芯片領(lǐng)域，預(yù)計(jì)這些領(lǐng)域?qū)⒃谖磥?到5年內(nèi)提供增長。

可以看到，聯(lián)發(fā)科對人工智能領(lǐng)域的重視，尤其是當(dāng)前，生成式AI正在以空前的速度發(fā)展，它已經(jīng)成為新一代科技和產(chǎn)業(yè)變革的核心動力。Bloomberg Intelligence報(bào)告指出，未來10年內(nèi)，生成式AI市場規(guī)模將從2022年的400億美元，增長至2032年的1.3萬億美元，年復(fù)合增速有望達(dá)到42%。

這對于聯(lián)發(fā)科來說是極好的機(jī)會，除了上文提到，聯(lián)發(fā)科宣布運(yùn)用Meta LIama 2大語言模型和聯(lián)發(fā)科先進(jìn)的AI處理器（APU）以及完整的AI開發(fā)平臺（NeuroPilot），建立完整的終端側(cè)AI計(jì)算生態(tài)，賦能終端設(shè)備生成式AI應(yīng)用之外，前段時間，聯(lián)發(fā)科還宣布聯(lián)合百度發(fā)起飛槳和文心大模型硬件生態(tài)共創(chuàng)計(jì)劃，共同推進(jìn)聯(lián)發(fā)科硬件平臺與飛槳和文心大模型適配。

目前雙方正在合作優(yōu)化文心大模型在終端設(shè)備上的執(zhí)行效果，將實(shí)現(xiàn)大模型在終端和云端的協(xié)同工作，為用戶帶來突破性的生成式 AI 應(yīng)用體驗(yàn)。

作為推動AI進(jìn)一步發(fā)展的先進(jìn)技術(shù)，與單純在云端部署生成式AI應(yīng)用和服務(wù)相比，終端側(cè)部署生成式AI在節(jié)約服務(wù)器成本、保護(hù)用戶信息安全、提升實(shí)時性和實(shí)現(xiàn)個性化用戶體驗(yàn)等方面具備明顯優(yōu)勢。

雙方的合作將支持基于聯(lián)發(fā)科芯片的智能手機(jī)、汽車、智能家居、物聯(lián)網(wǎng)等終端設(shè)備上運(yùn)行文心大模型，賦能終端設(shè)備提供更安全、可靠和差異化的使用體驗(yàn)。

小結(jié)

當(dāng)前，生成式AI正在快速發(fā)展，它已經(jīng)成為新一代科技和產(chǎn)業(yè)變革的核心動力。目前生成式人工智能多還是通過云端運(yùn)算進(jìn)行，而眾多手機(jī)廠商，包括三星、華為、蘋果，SOC廠商高通、聯(lián)發(fā)科等都在積極探索，將生成式AI部署在終端設(shè)備上。在眾多廠商的努力下，更好用的生成式AI值得期待。