安霸推出基于CV72芯片的多模態(tài)大模型推理解決方案—Cooper Mini

生成式人工智能（Generative AI）的技術(shù)進(jìn)步正在迅速改變許多行業(yè)的面貌。特別是大模型技術(shù)如 GPT 系列，已展現(xiàn)出改變游戲規(guī)則的能力，其全方位的強(qiáng)悍性能即將實現(xiàn)在多種產(chǎn)品中的廣泛應(yīng)用。輕量化是大模型發(fā)展重要方向，生成式 AI 硬件“新物種”的誕生，標(biāo)志著大模型技術(shù)向更加個性化和即時反應(yīng)的前端解決方案的轉(zhuǎn)變，也預(yù)示著裝載大模型的產(chǎn)品即將全面普及于廣大人民群眾的生活中。

從云到邊緣：一場必要的轉(zhuǎn)變

盡管云端的 AI 解決方案提供了強(qiáng)大的計算能力，但它們在數(shù)據(jù)傳輸帶寬、網(wǎng)絡(luò)延遲、數(shù)據(jù)安全，以及最重要的用戶隱私方面存在著一些問題。比如傳統(tǒng)基于云的多模態(tài)大模型需要將用戶數(shù)據(jù)上傳到遠(yuǎn)程服務(wù)器，這不僅可能引起隱私泄露的風(fēng)險，還常常因為網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)通信延遲帶來的影響而減低產(chǎn)品的體驗質(zhì)量。在這種背景下，邊緣計算提供了一種更為合理的替代方案。相比于云端大模型，大模型端側(cè)部署具備綜合成本低、隱私保護(hù)好、響應(yīng)速度快，服務(wù)可靠性高，和個性化以及根據(jù)用戶需求定制化開發(fā)等差異化優(yōu)勢，大模型正向前端設(shè)備遷移，從而重構(gòu)千行百業(yè)，實現(xiàn)降本增效。

安霸 CV72芯片和Cooper Mini 的創(chuàng)新

在這一大背景下，安霸推出了基于 CV72 芯片的多模態(tài)大模型推理解決方案——Cooper Mini。這一解決方案是為邊緣計算環(huán)境量身定制的，特別適用于需要在設(shè)備上直接進(jìn)行高級數(shù)據(jù)處理的應(yīng)用。CV72 本是一顆可以單芯片支持完整 AI 攝像機(jī)的 SoC。使用 CV72 的 Cooper Mini 不僅硬件性能卓越，更搭載了全新的 Cooper 開發(fā)平臺，提供高度靈活、模塊化的軟硬件開發(fā)工具，極大地降低了開發(fā)者的門檻。它支持高達(dá) 30 億參數(shù)的視覺大模型推理，能夠處理多模態(tài)圖文匹配、文字驅(qū)動的圖像搜索及圖像驅(qū)動的圖像搜索，文字驅(qū)動的無類別檢測追蹤等復(fù)雜任務(wù)，為用戶提供豐富而精準(zhǔn)的交互體驗。

5nm 制程的 CV72 芯片的設(shè)計采用了安霸第三代 CVflow 架構(gòu)，全面支持 Transformer 和 LLM 的單芯片本地高速推理，并且兼顧了低功耗，大大減低了系統(tǒng)成本。除了具備強(qiáng)大的大模型本地推理能力，CV72 還擁有功能完備的圖像處理和視頻編碼能力。其內(nèi)建 ISP 具備卓越圖像處理能力，以及 AI ISP 的強(qiáng)悍圖像處理能力，即使在極低光照下也能提供出色的高清圖像。其內(nèi)建的高效率 H.265 視頻編碼器，可支持最高 8MP90 視頻編碼，適合各種攝像機(jī)搭配邊緣 AI 計算的場景，包括視頻會議、直播、機(jī)器人和安防監(jiān)控等應(yīng)用。

結(jié)論

安霸在 2024 年 CES 期間推出了基于 N1 的多模態(tài)大模型解決方案 Cooper Max，通過單顆 N1 芯片支持高達(dá) 340 億參數(shù)的多模態(tài)大模型推理。新推出的基于 CV72 的 Cooper Mini，則可實現(xiàn)低功耗系統(tǒng)單芯片高達(dá) 30 億參數(shù)的多模態(tài)大模型推理。

安霸正在逐漸豐富端側(cè)推理的路線圖，提供給市場更多更好的選擇。隨著生成式 AI 的不斷進(jìn)步和邊緣計算技術(shù)的成熟，像 Cooper Mini 這樣的解決方案預(yù)示著未來智能設(shè)備的發(fā)展新方向之一。這些設(shè)備不僅能夠提供更個性化、更安全的用戶體驗，還將在各個行業(yè)中推動 AI 應(yīng)用的廣泛落地。