NPU是什么？為何它是開啟終端側(cè)生成式AI的關鍵？

生成式AI變革已經(jīng)到來。隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領域不斷增加，我們顯然需要專為AI定制設計的全新計算架構(gòu)。這首先需要一個面向生成式AI全新設計的神經(jīng)網(wǎng)絡處理器(NPU)，同時要利用異構(gòu)處理器組合，比如中央處理器(CPU)和圖形處理器(GPU)。通過結(jié)合NPU使用合適的處理器，異構(gòu)計算能夠?qū)崿F(xiàn)最佳應用性能、能效和電池續(xù)航，賦能全新增強的生成式AI體驗。

正如在工具箱中選擇合適的工具一樣，選擇合適的處理器取決于諸多因素，將增強生成式AI體驗。

異構(gòu)計算的重要性

生成式AI的多樣化要求和計算需求需要不同的處理器來滿足。支持處理多樣性的異構(gòu)計算架構(gòu)能夠發(fā)揮每個處理器的優(yōu)勢，例如以AI為中心定制設計的NPU，以及CPU和GPU。每個處理器擅長不同的任務：CPU擅長順序控制和即時性，GPU適合并行數(shù)據(jù)流處理，NPU擅長標量、向量和張量數(shù)學運算，可用于核心AI工作負載。

異構(gòu)計算能夠?qū)崿F(xiàn)最佳應用性能、能效和電池續(xù)航，以最大化發(fā)揮生成式AI終端用戶體驗。

NPU隨著不斷變化的AI用例和模型持續(xù)演進，實現(xiàn)高性能低功耗。

什么是神經(jīng)網(wǎng)絡處理器NPU（Neural Processing Unit）？

NPU專為實現(xiàn)以低功耗加速AI推理而全新打造，其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進。Al工作負載主要包括由標量、向量和張量數(shù)學組成的神經(jīng)網(wǎng)絡層計算以及非線性激活函數(shù)。優(yōu)秀的NPU設計能夠為處理這些AI工作負載做出正確的設計選擇，與AI行業(yè)方向保持高度一致。

高通AI引擎包括高通Hexagon NPU、高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。

高通領先的NPU和異構(gòu)計算解決方案

高通正在助力讓智能計算無處不在。業(yè)界領先的高通Hexagon NPU面向以低功耗實現(xiàn)持續(xù)穩(wěn)定的高性能AI推理而設計。高通NPU的差異化優(yōu)勢在于系統(tǒng)級解決方案、定制設計和快速創(chuàng)新。通過定制設計NPU并控制指令集架構(gòu)(ISA)，高通能夠快速進行設計演進和擴展，以解決瓶頸問題并優(yōu)化性能。

Hexagon NPU是高通業(yè)界領先的異構(gòu)計算架構(gòu)——高通AI引擎中的關鍵處理器，高通AI引擎還包括高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。這些處理器為實現(xiàn)協(xié)同工作而設計，能夠在終端側(cè)快速且高效地運行AI應用。

我們在AI基準測試和實際生成式AI應用方面的行業(yè)領先性能表現(xiàn)就是例證。深入了解高通NPU、我們的其他異構(gòu)處理器，以及在第三代驍龍8和驍龍X Elite上業(yè)界領先的Al性能。 可以登錄高通網(wǎng)站。

高通AI軟件棧旨在幫助開發(fā)者一次編寫，即可實現(xiàn)隨時隨地運行和規(guī)模化擴展。

賦能開發(fā)者加速生成式Al應用

我們專注于在全球搭載高通和驍龍平臺的數(shù)十億終端設備上實現(xiàn)便捷開發(fā)和部署，賦能開發(fā)者。利用高通AI軟件棧（Qualcomm AI Stack），開發(fā)者可在高通硬件上創(chuàng)建、優(yōu)化和部署AI應用，一次編寫即可實現(xiàn)在不同產(chǎn)品和細分領域采用高通芯片組解決方案進行部署。

通過將技術領導力、定制芯片設計、全棧AI優(yōu)化和生態(tài)系統(tǒng)賦能充分結(jié)合，高通技術公司在推動終端側(cè)生成式AI開發(fā)和應用方面獨樹一幟。高通技術公司正在賦能終端側(cè)生成式AI的規(guī)?；瘮U展。

本文內(nèi)容來自高通技術公司高級副總裁兼技術規(guī)劃和邊緣解決方案業(yè)務總經(jīng)理馬德嘉、高通技術公司技術市場總監(jiān)Pat Lawlor的署名博客。

*驍龍和高通品牌產(chǎn)品是高通技術公司和/或其子公司的產(chǎn)品。