如何在手持設(shè)備上安裝龐大的transformer網(wǎng)絡(luò)

Siri和OK Google是最早實現(xiàn)語音控制的應(yīng)用程序，這著實為我們帶來了很多樂趣；但很快我們便意識到，必須仔細說出請求才能獲得實用回答。

就現(xiàn)在所見，ChatGPT理解程度高，使用起來更容易，但直到最近，其功能還僅限于通過基于云的應(yīng)用程序進行文本互動?，F(xiàn)如今，ChatGPT是大勢所趨，手機幾乎人人必備，促使著針對ChatGPT（手機版）的transformer網(wǎng)絡(luò)盡快推出，讓每個擁有手機的人都能感受到大語言模型的威力。

在此方面面臨的一個明顯挑戰(zhàn)是，我們所知的 ChatGPT依賴于數(shù)萬億個參數(shù)。而這種規(guī)模的transformer網(wǎng)絡(luò)只能在云端運行。有人建議采用混合模式，即先由手機或其他應(yīng)用程序負責(zé)完成部分簡單工作，再連接到云端進行更為繁重的推理。然而，普通手機用戶可能無法接受混合解決方案與生俱來的長時間延遲和隱私風(fēng)險問題。因此，更好的方法是，直接在手機上處理大部分或全部transformer網(wǎng)絡(luò)工作，只在需要時將偶爾出現(xiàn)的匿名搜索請求轉(zhuǎn)至云端處理。

縮減網(wǎng)絡(luò)大小

如何在手持設(shè)備上安裝龐大的transformer網(wǎng)絡(luò)？Google DeepMind在檢索transformer方面取得了重大突破。其RETRO transformer網(wǎng)絡(luò)運行時的大小只有 LLM transformer的百分之幾，因為前者的模型參數(shù)中不包含具體數(shù)據(jù)。只保留了基本的語言對話技能，但在理解水平上仍可與GPT3相媲美。如此將網(wǎng)絡(luò)大小縮減到了約80億個參數(shù)。

CEVA在預(yù)處理時進一步縮減此網(wǎng)絡(luò)大小，將對感興趣領(lǐng)域提示的準(zhǔn)確度幾乎沒有影響的參數(shù)歸零，進行再訓(xùn)練。仔細利用這一功能可以大大加快transformer網(wǎng)絡(luò)分析的速度。

準(zhǔn)備邊緣模型的第二步是壓縮，CEVA對此非常熟悉，并在支持檢索transformer方面做得更好。我們充分利用NeuPro-M架構(gòu)進行再訓(xùn)練，大力推進此步驟，促使廣泛的混合定點精度和低精度選項降到4位，未來甚至還能降到2位。

通過使用這些技術(shù)，我們可以將現(xiàn)有檢索transformer壓縮至最低1/20（較現(xiàn)在而言），盡管其相較LLM而言已經(jīng)壓縮了很多。將這種壓縮剪枝應(yīng)用于RETRO模型縮減后，可以產(chǎn)生巨大縮減，將萬億參數(shù)模型轉(zhuǎn)換為十億參數(shù)模型，進而有望實現(xiàn)ChatGPT（移動版）。

NeuPro-M AI核心

當(dāng)然，僅僅適合的transformer網(wǎng)絡(luò)是不夠的。它還需要運行得足夠快，才能滿足用戶對響應(yīng)時間的期望。而這一點可以通過專為LLM應(yīng)用程序優(yōu)化的NeuPro-M NPU IP多引擎架構(gòu)實現(xiàn)。在此流程中，首先要做到的是由真正的稀疏引擎來進行管理，且這一步舉足輕重。稀疏引擎管理可跳過權(quán)重或數(shù)據(jù)為零的冗余操作，提高吞吐量，這是需要注意的一點。而在預(yù)處理時縮減之后，會出現(xiàn)大量歸零參數(shù)，盡管這些參數(shù)分布不均勻。對于這種非結(jié)構(gòu)化稀疏引擎，每個NeuPro-M處理器內(nèi)核中的專用稀疏引擎可發(fā)揮4倍性能優(yōu)勢（與傳統(tǒng)稀疏引擎相比），并相應(yīng)地降低功耗。

鑒于transformer架構(gòu)可以分解為可并行實現(xiàn)的離散正交運算，下一優(yōu)化應(yīng)運而生。此時，可以利用 NeuPro-M多核架構(gòu)支持多達8個內(nèi)核。transformer中 query、key和value三個向量的計算會在引擎中分批進行，在共享公共二級緩存的多個內(nèi)核并行處理。并行處理不僅有利于attention步驟，還有利于softmax步驟，以及計算attention函數(shù)之后的歸一化函數(shù)。在傳統(tǒng)的人工智能系統(tǒng)中，softmax可能是遏制性能提升的重大瓶頸。在NeuPro-M中，attention和softmax可以并行實現(xiàn)，因此softmax對于吞吐時間的增加幾乎可以忽略不計。NeuPro-M在transformer計算中實現(xiàn)大規(guī)模并行處理如下圖所示。

▲transformer計算中的可擴展并行化

NeuPro-M架構(gòu)包括特殊支持，最大限度地提高芯片吞吐量，線程之間幾乎沒有停滯，進一步簡化這些流中的高度并行性以及線程之間的數(shù)據(jù)共享。

為ChatGPT（移動版）構(gòu)建語音界面

完成最難的部分后，在前端添加語音識別和在后端添加文本轉(zhuǎn)語音，便可以通過額外相對簡單的transformer網(wǎng)絡(luò)實現(xiàn)。將我們的ClearVox語音處理前端軟件連接到語音識別transformer，以輸入提示，并接受引導(dǎo)，確定主transformer應(yīng)執(zhí)行哪一組精煉提示。必要時，可從互聯(lián)網(wǎng)上檢索查詢相關(guān)文檔。最后，使用文本轉(zhuǎn)語音transformer對下載的回復(fù)或文件進行語音處理。現(xiàn)在來說，完全在手機上運行，且具有完全基于語音的 ChatGPT功能界面便是ChatGPT（移動版）的不同之處。

更廣泛的應(yīng)用

NeuPro-M平臺并不局限于ChatGPT（移動版）這樣的GPT類應(yīng)用。它可以同樣應(yīng)用于任何生成式方法。例如，您可以使用穩(wěn)定的擴散transformer生成圖像、視頻或任何其他人工生成或修改的體驗。NeuPro-M解決方案在transformer網(wǎng)絡(luò)建模方面非常通用。

審核編輯：彭菁