深蕾半導(dǎo)體ASTRA AI詳細(xì)介紹

一、ASTRA AI是什么

ASTRA AI芯片是一種集成了多種計算單元（包括NPU/uNPU、GPU、CPU、DSP等）的異構(gòu)計算系統(tǒng)級芯片（SOC），專為處理復(fù)雜的人工智能（AI）任務(wù)而設(shè)計。這種設(shè)計使得ASTRA AI芯片能夠在單個芯片上高效地執(zhí)行多種不同類型的計算任務(wù)，從而滿足各種AI應(yīng)用場景的需求。

二、主要組成部分解析

1.NPU/uNPU（Neural Processing Unit/micro Neural Processing Unit）

NPU是專門用于神經(jīng)網(wǎng)絡(luò)加速的處理器，能夠高效執(zhí)行深度學(xué)習(xí)算法中的矩陣運算和卷積操作。

uNPU指的是微型的NPU，設(shè)計用于處理較小規(guī)模的神經(jīng)網(wǎng)絡(luò)或嵌入式系統(tǒng)中的AI任務(wù)，以節(jié)省功耗和成本。

2.GPU（Graphics Processing Unit）：

GPU原本用于圖形渲染，但因其強(qiáng)大的并行處理能力，現(xiàn)在也被廣泛用于AI計算，特別是加速大規(guī)模矩陣運算和圖像處理。

3.CPU（Central Processing Unit）：

CPU是系統(tǒng)的主控中心，負(fù)責(zé)執(zhí)行各種指令，包括操作系統(tǒng)、應(yīng)用程序以及AI任務(wù)的調(diào)度和管理。

4.DSP（Digital Signal Processor）：

DSP專門設(shè)計用于處理數(shù)字信號，如音頻和視頻數(shù)據(jù)。在AI應(yīng)用中，DSP可以加速信號處理和特征提取等任務(wù)。

三、多模態(tài)AI算法支持

ASTRA AI芯片支持多模態(tài)AI算法，意味著它能夠同時處理來自不同來源和類型的數(shù)據(jù)，如圖像、語音、文本等。這種多模態(tài)處理能力對于構(gòu)建復(fù)雜、全面的AI系統(tǒng)至關(guān)重要，因為它可以整合來自多個傳感器的信息，從而做出更準(zhǔn)確的決策。

1.視覺算法：用于圖像識別、物體檢測、場景理解等任務(wù)。

2.語音算法：支持語音識別、語音合成、情感分析等語音處理任務(wù)。

3.大模型支持：能夠接入并高效運行各種大型AI模型，如深度學(xué)習(xí)模型、自然語言處理模型等，從而滿足復(fù)雜應(yīng)用場景的需求。

四、本地AI算力平臺五大特點

為了滿足構(gòu)建新一代智能物聯(lián)網(wǎng)設(shè)備的客戶需求，深蕾半導(dǎo)體推出了可擴(kuò)展的智能邊緣處理器產(chǎn)品組合Astra系列。全新的Astra本地AI算力平臺產(chǎn)品具備五大特點助力客戶構(gòu)建新一代智能物聯(lián)網(wǎng)產(chǎn)品：

差異化計算解決方案

提供一系列節(jié)能多模的AI MPU芯片，以及高性能AI及MCU，為家庭自動化、智能家電、過程控制、可穿戴設(shè)備、安全、數(shù)字標(biāo)牌、流媒體和企業(yè)會議等市場應(yīng)用提供可擴(kuò)展的、差異化的計算解決方案。

自適應(yīng)AI框架

通過開放、跨平臺、工具化、建模和優(yōu)化的自適應(yīng)AI框架，從 “讓人工智能發(fā)揮作用” 變?yōu)?“與人工智能合作”。

統(tǒng)一的軟件體驗

全面的板級支持包（支持Linux，Android和領(lǐng)先的RTOS）提供開放、一致的跨平臺體驗。它基于標(biāo)準(zhǔn)的操作系統(tǒng)接口、安全架構(gòu)和加速方法構(gòu)建。用戶可以基于熟悉的開發(fā)環(huán)境縮短評估和決策周期

廣泛的合作伙伴解決方案生態(tài)系統(tǒng)

客戶可以與行業(yè)領(lǐng)先的合作伙伴公司（從ODM和ISV到服務(wù)提供商和系統(tǒng)集成商）一起構(gòu)建市場就緒的系統(tǒng)和解決方案堆棧。從用于企業(yè)和消費市場的單板計算機(jī)、流媒體、平板電腦、顯示器和用于教育和商業(yè)的交互式 A/V 會議系統(tǒng)，到支持計算的連接模塊，ASTRA產(chǎn)品系列使各種物聯(lián)網(wǎng)平臺成為可能。

優(yōu)秀的無線連接性能

業(yè)界一流、行業(yè)認(rèn)可的無線連接性能，支持Wi-Fi、藍(lán)牙、BLE、802.15.4和GPS/GNSS等，并通過標(biāo)準(zhǔn)的 Linux 和 RTOS 軟件框架和協(xié)議（如 Matter）實現(xiàn)。

五、支持多種方式接入AI推理

1.HDMI RX：通過HDMI接收接口，ASTRA可以接入高清視頻信號，進(jìn)行視頻內(nèi)容的實時分析和處理。這種方式適用于需要處理高清視頻輸入的場景，如安防監(jiān)控、視頻會議等。

2.MIPI/USB攝像頭：MIPI和USB是兩種常見的攝像頭接口標(biāo)準(zhǔn)。ASTRA支持通過這兩種接口接入攝像頭，獲取實時視頻流，并應(yīng)用AI算法進(jìn)行圖像識別、目標(biāo)跟蹤等任務(wù)。這種方式在自動售賣機(jī)、智慧零售等領(lǐng)域有廣泛應(yīng)用。

3.RTSP/RTMP流：RTSP（Real Time Streaming Protocol）和RTMP（Real Time Messaging Protocol）是兩種常用的流媒體傳輸協(xié)議。ASTRA支持通過這兩種協(xié)議接入網(wǎng)絡(luò)視頻流，進(jìn)行遠(yuǎn)程視頻內(nèi)容的分析和處理。這種方式適用于需要處理網(wǎng)絡(luò)視頻內(nèi)容的場景，如遠(yuǎn)程監(jiān)控、在線教育等。

4.本地視頻播放：ASTRA支持對存儲在本地設(shè)備上的視頻文件進(jìn)行播放和分析。這種方式適用于需要處理本地視頻文件的場景，如視頻編輯、視頻內(nèi)容審核等。

5.靜態(tài)圖像：ASTRA還支持對靜態(tài)圖像進(jìn)行分析和處理。這可以用于圖像識別、圖像分類、圖像增強(qiáng)等多種應(yīng)用場景。

6.麥克風(fēng)：通過麥克風(fēng)接入，ASTRA可以接收音頻信號，進(jìn)行語音識別、語音合成等任務(wù)。這在智慧客服、智能家居等領(lǐng)域有重要應(yīng)用。

六、芯片系列以及典型應(yīng)用場景

ASTRA AI芯片系列中，包含了SL1680型號、SL1640型號、SL1620型號、SR110型號。應(yīng)用場景有：

1.自動售賣：通過接入攝像頭和麥克風(fēng)，ASTRA可以實時分析顧客的行為和需求，優(yōu)化商品陳列和售賣策略。

2.智慧顯示牌：結(jié)合視頻流和靜態(tài)圖像的處理能力，ASTRA可以根據(jù)環(huán)境變化和觀眾需求動態(tài)調(diào)整顯示內(nèi)容，提升用戶體驗。

3.安檢設(shè)備：通過對行李、人員等物品進(jìn)行圖像識別和分析，ASTRA可以幫助安檢人員快速發(fā)現(xiàn)潛在威脅，提高安檢效率。

4.缺陷檢測：在工業(yè)生產(chǎn)線上，ASTRA可以對產(chǎn)品進(jìn)行實時圖像檢測，發(fā)現(xiàn)缺陷并及時報警，確保產(chǎn)品質(zhì)量。

5.事件預(yù)警：結(jié)合視頻流和音頻信號的分析能力，ASTRA可以實時監(jiān)測環(huán)境中的異常情況，并及時發(fā)出預(yù)警信號。

6.自動化運維：ASTRA可以通過對系統(tǒng)日志、監(jiān)控視頻等數(shù)據(jù)的分析，幫助運維人員快速定位和解決問題，提高運維效率。

7.多媒體交互：通過語音識別和合成技術(shù)，ASTRA可以實現(xiàn)與用戶的自然語言交互，提供更加便捷和智能的服務(wù)體驗。

8.視頻內(nèi)容分析：ASTRA可以對視頻內(nèi)容進(jìn)行深度分析，提取關(guān)鍵信息并生成分析報告，為決策提供有力支持。

綜上所述，

ASTRA憑借其強(qiáng)大的AI推理能力和多樣化的接入方式，

在多個領(lǐng)域都有著廣泛的應(yīng)用前景。

審核編輯 黃宇