推動(dòng)邊緣視覺(jué)計(jì)算, NPU IP is all you need?

從可視門(mén)鈴到現(xiàn)代汽車，依賴攝像頭的應(yīng)用種類不斷增加。對(duì)于許多這類系統(tǒng)而言，實(shí)時(shí)獲得高分辨率圖像正是保障系統(tǒng)有效運(yùn)行的關(guān)鍵。畢竟，如果門(mén)鈴無(wú)法清晰地識(shí)別偷走門(mén)口快遞的小偷，或者汽車無(wú)法準(zhǔn)確檢測(cè)道路障礙物，它們的價(jià)值將大大降低。如今，深度學(xué)習(xí)模型已被越來(lái)越多的開(kāi)發(fā)者用來(lái)增強(qiáng)這些產(chǎn)品所需的視覺(jué)處理能力。

視覺(jué)處理應(yīng)用逐漸開(kāi)始利用人工智能（AI）來(lái)提高圖像質(zhì)量或?qū)崿F(xiàn)物體檢測(cè)等高級(jí)AI功能。原本，計(jì)算機(jī)視覺(jué)應(yīng)用僅依靠高級(jí)數(shù)字信號(hào)來(lái)處理操作（DSP），現(xiàn)如今已經(jīng)開(kāi)始將DSP和AI結(jié)合起來(lái)運(yùn)用。目前，神經(jīng)處理器IP解決方案也已問(wèn)世，它具有超低功耗和超小尺寸，支持包括Transformer在內(nèi)的最新AI神經(jīng)網(wǎng)絡(luò)，每秒可執(zhí)行高達(dá)2萬(wàn)億次運(yùn)算（TOPS）。本文將進(jìn)一步討論新思科技具有1,024個(gè)MAC的ARC NPX6-1K NPU處理器IP如何幫助開(kāi)發(fā)者在芯片設(shè)計(jì)中引入更多的智能功能。

AI Transformer + 神經(jīng)網(wǎng)絡(luò) = 令人驚嘆的視覺(jué)處理

各類產(chǎn)品對(duì)人工智能的需求與日俱增，在計(jì)算成像領(lǐng)域尤為明顯。智能手機(jī)已經(jīng)普遍集成了攝像頭，且能夠提供高質(zhì)量的圖像，這也為將攝像頭集成到從門(mén)鈴到醫(yī)療設(shè)備等各種產(chǎn)品鋪平了道路。計(jì)算成像有兩個(gè)分支：

• 計(jì)算攝影，涉及使用數(shù)字計(jì)算來(lái)捕獲和處理圖像。
  

• 計(jì)算機(jī)視覺(jué)，涉及打造能像人類一樣處理、分析和理解視覺(jué)數(shù)據(jù)的數(shù)字系統(tǒng)

事實(shí)證明，AI驅(qū)動(dòng)的計(jì)算機(jī)視覺(jué)技術(shù)是實(shí)時(shí)提供準(zhǔn)確、高分辨率圖像的關(guān)鍵技術(shù)。過(guò)去，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域的主流算法。神經(jīng)網(wǎng)絡(luò)一直普遍用于物體檢測(cè)，如今在圖像質(zhì)量改進(jìn)方面發(fā)揮著重要作用，接管多項(xiàng)曾經(jīng)由數(shù)字信號(hào)處理器完成的任務(wù)。例如，神經(jīng)網(wǎng)絡(luò)可以嵌入關(guān)于什么是優(yōu)質(zhì)圖像的知識(shí)，通過(guò)超分辨率網(wǎng)絡(luò)將視頻流分辨率提高4倍，并可用于減少噪點(diǎn)和提高弱光性能。AI驅(qū)動(dòng)的計(jì)算機(jī)視覺(jué)技術(shù)還擁有包括模糊降低、高動(dòng)態(tài)范圍和寬動(dòng)態(tài)范圍等功能。

如今，最高精度的方案是Transformer。該AI模型最初用于自然語(yǔ)言處理，比如翻譯和問(wèn)答。Transformer基于自注意力機(jī)制，相比CNN，它更擅長(zhǎng)學(xué)習(xí)復(fù)雜的模式，實(shí)現(xiàn)準(zhǔn)確的物體檢測(cè)，也能更好地理解情境。如果結(jié)合使用這兩種深度學(xué)習(xí)模型，可以顯著增強(qiáng)計(jì)算機(jī)視覺(jué)和圖像處理精度。

將AI驅(qū)動(dòng)的視覺(jué)處理集成到更廣泛的應(yīng)用中

全新ARC NPX6-1K NPU IP具有1,024個(gè)MAC，為開(kāi)發(fā)者提供了一個(gè)很好的入口點(diǎn)，讓開(kāi)發(fā)者能夠?yàn)楣暮兔娣e受限的視覺(jué)處理設(shè)計(jì)添加最新神經(jīng)網(wǎng)絡(luò)（特別是Transformer）的支持。該IP還提供了另一個(gè)版本，即ARC NPX-1KFS NPU IP，其中提供了先進(jìn)的硬件安全功能，有助于汽車設(shè)計(jì)更快通過(guò)ISO 26262認(rèn)證。NPX6-1K和1KFS處理器能夠與新思科技ARC VPX2 DSP處理器IP緊密集成，從而為DSP 和神經(jīng)網(wǎng)絡(luò)Transformer 提供市場(chǎng)上最節(jié)省面積和功耗的AI+DSP 解決方案。NPX6和VPX解決方案組合可以向上擴(kuò)展，并且可以混合和匹配使用不同的配置，從而支持大型DSP+小型AI，或是大型AI+小型DSP等。

具有1,024個(gè)MAC的神經(jīng)網(wǎng)絡(luò)處理器支持多種用例。以下是其中一些示例：

• 在攝像頭應(yīng)用中，在圖像信號(hào)處理器（ISP）之前處理原始數(shù)據(jù)，以實(shí)現(xiàn)更好的降噪，從而提高圖像質(zhì)量，而不是使用ISP處理原始數(shù)據(jù)，然后在后期處理過(guò)程中應(yīng)用AI
  

• 通過(guò)運(yùn)行神經(jīng)網(wǎng)絡(luò)算法，可以將顯示的圖像精度提高4倍，同時(shí)大幅降低功耗和面積

• 在視覺(jué)應(yīng)用中直接處理來(lái)自圖像傳感器的流數(shù)據(jù)，從而大幅減少無(wú)DRAM架構(gòu)的面積和功耗

• 使用成本較低的攝像頭鏡頭，然后借助神經(jīng)網(wǎng)絡(luò)算法來(lái)提高圖像質(zhì)量，或在汽車應(yīng)用中，提高諸如物體檢測(cè)等功能的準(zhǔn)確性

• 將AI集成到汽車?yán)走_(dá)和激光雷達(dá)設(shè)計(jì)中，以支持物體檢測(cè)和自動(dòng)剎車等應(yīng)用

• 為汽車環(huán)境中使用的虛擬機(jī)提供支持，幫助分隔安全關(guān)鍵型和非安全關(guān)鍵型任務(wù)，并簡(jiǎn)化認(rèn)證要求

除上述用例外，還有許多其他使用場(chǎng)景，ARC NPX6-1K等處理器的出現(xiàn)開(kāi)辟了將AI集成到眾多新應(yīng)用中的可能性。

屢獲殊榮的可擴(kuò)展NPU IP

隨著新成員的加入，ARC NPX NPU IP系列現(xiàn)已從1K擴(kuò)展到96K MAC，并能夠在單個(gè)SoC上提供高達(dá)3,500 TOPS的性能。新思科技ARC MetaWare MX開(kāi)發(fā)工具包提供一站式工具鏈，可加速IP的應(yīng)用開(kāi)發(fā)，并自動(dòng)為算法分配MAC資源，以實(shí)現(xiàn)高效處理。今年早春的2023年邊緣人工智能與視覺(jué)產(chǎn)品年度大獎(jiǎng)中，此IP榮獲由邊緣人工智能與視覺(jué)聯(lián)盟頒發(fā)的“最佳邊緣人工智能處理器”獎(jiǎng)項(xiàng)。